Na GTC Taipei i Computexu danas, NVIDIA Corp. je otkrila nekoliko otvorenih{1}}fizičkih vještina i alata za umjetnu inteligenciju kako bi pomogla programerima robotike, autonomnih vozila, vizuelne umjetne inteligencije i industrijskih digitalnih blizanaca. Kompanija je tvrdila da oni mogu pomoći u smanjenju troškova, vremena i složenosti izgradnje fizičkih AI tokova rada u velikom obimu.
Dostupan kao dioNVIDIA Agent Toolkit, nove vještine će omogućiti AI agentima da ubrzaju generiranje podataka, simulaciju, obuku, evaluaciju i implementaciju iza robota, autonomnih vozila (AV), fabrika i laboratorija, saopštila je kompanija.
„Agenti veštačke inteligencije revolucionišu razvoj softvera i taj pomak sada dolazi na fizičku veštačku inteligenciju, proširujući se na sisteme koji će transformisati transport, proizvodnju, zdravstvenu zaštitu i robotiku“, rekao je Jensen Huang, osnivač i izvršni direktor NVIDIA-e, u GTC Taipei. „Kada agenti mogu direktno da koriste NVIDIA biblioteke, modele i okvire, razvoj fizičke veštačke inteligencije će se kretati brže, omogućavajući programerima da grade robote, autonomna vozila i industrijske sisteme budućnosti neverovatnim tempom.“
„Fizička veštačka inteligencija zahteva ogromne količine podataka za obuku u različitim okruženjima“, primetio je Rev Lebaredian, potpredsednik za simulaciju fizičke veštačke inteligencije u NVIDIA-i. "Podaci teleoperacije, simulacije i internet-razmjera vode do svjetskih temeljnih modela za beskonačnu raznolikost slučajeva korištenja."
NVIDIA priprema fizički AI stack agent-
NVIDIA je rekla da optimizira svoj cijeli fizički AI stack za agente pretvarajući biblioteke, modele i okvire u alate{0}}koje se mogu pozivati agenti. Ovo uključuje:
NVIDIA Cosmos3 svjetska temeljna modela za razmišljanje i generiranje fizičkog svijeta
NVIDIA Omniversebiblioteke za simulaciju i digitalne blizance
NVIDIA Isaacza simulaciju robotike i učenje robota
NVIDIA Metropolisza vid AI
NVIDIA Alpamayozaautonomna vožnja
NVIDIA Jetsonplatforma za razvoj AI
"Cosmos 3 je granični temeljni model za fizičku AI", rekao je Lebaredian. "Razumije video zapise i tekst i može označiti ono što je važno. Cosmos je fizički precizna simulacija i može predvidjeti šta će se sljedeće dogoditi i generirati akcije."
Kako bi pomogla u primjeni ovih alata, pokreće se NVIDIAnove vještinepretvoriti fizičke procese razvoja AI u ponovljive instrukcije koje agenti za kodiranje mogu slijediti. Ovo uključuje koje alate treba pozvati, koje rezultate treba proizvesti i kako programeri mogu potvrditi rezultate.
Programeri takođe mogu bezbedno da grade i postavljaju autonomne agente koristeći ove veštine saNVIDIA NemoClawnacrt iNVIDIA OpenShellvrijeme izvođenja, koje pruža{0}}upravljanje sigurnošću i privatnošću zasnovano na pravilima na lokalnom ili cloud hardveru. Agenti će trčati na ivici u Jetsonu i već su pokazali poboljšanja u vremenu trajanja, rekao je Lebaredian.
NVIDIA je rekla da njene fizičke AI vještine i alati ubrzavaju razvoj agenta širom:
Robotika i edge AI:Programeri robota mogu koristiti vještine za ubrzanje cjelokupnog procesa razvoja robotike, od generiranja podataka o percepciji i obuci mobilnosti do simulacije, automatiziranja obuke za navigaciju, unapređenja učenja robota i podešavanja rubnih sistema zasnovanih na Jetson-u za implementaciju.
Autonomna vozila:Za AV programere, vještine mogu usmjeriti agente da rekonstruiraju podatke koje je uhvatila flota u simulacijska okruženja, generiraju fotorealistične scenarije vožnje u velikom obimu i pokrenu učenje u zatvorenoj{0}}petlji kako bi proširili pokrivenost obukom i evaluacijom.
AI agenti{0}}vizije u realnom vremenu:Za automatsku inspekciju i video inteligenciju, NVIDIA je rekla da njene vještine agenta mogu pomoći timovima da generiraju sintetičke podatke o obuci, fino-podese modele, automatiziraju označavanje i izgrade video AI agente koji pretražuju, sumiraju i analiziraju uživo ili snimljene video zapise.
Industrijska umjetna inteligencija:Programeri industrijskog softvera mogu koristiti ove vještine da konvertuju inženjerske podatke u kompjuterski-potpomognuto projektovanje (CAD) sredstva za digitalnu simulaciju blizanaca, optimizirajući velike OpenUSD scene uz manje ručnog podešavanja.
zdravstvena zaštita:Prije implementacije automatizacije u kliničkim okruženjima, zdravstveni timovi mogu voditi agente kroz kreiranje digitalnih blizanaca bolničkih okruženja, simultano-do-generisanja stvarnih podataka i softvera-u--testiranju pravila petlje.
Veštine se mogu kombinovati i integrisati u veće agentske sisteme, prema NVIDIA-i. Ovo omogućava programerima da orkestriraju i automatizuju složene tokove rada kao što su generisanje podataka, simulacija, optimizacija, podešavanje zaključivanja, kontinuirana evaluacija i još mnogo toga.
Programeri robotike preuzimaju fizički AI stack
1X Technologies, Agile Robots, Agility, FieldAI, Hexagon Robotics, NEURA Robotics, Skild AI i Universal Robots su među robotskim kompanijama koje već koriste NVIDIA-in agent{1}}spremni fizički AI stack.
"Sa ažuriranjima stogova u NVIDIA Isaac GR00T, novi end{1}}to- radni tok se može postaviti u satima u odnosu na sedmice," rekao je Lebaredian. "'Omni-modal' znači da radi s različitim načinima - video, senzori, tekst i zvuk za ulaze i izlaze akcije."
Osim toga, Foxconn i Compal koriste NVIDIA Isaac za zdravstvo kako bi ubrzali bolničku robotiku. Compal unapređuje proces razvoja svog robota PolyMedX prema platformi za orkestriranje{1}}šire bolnice, integrirajući simulaciju, AI i operacije u stvarnom{2}}svijetu.
Foxconn proširuje Nurabot u nekoliko bolnica i okruženja za dugoročnu njegu-, donoseći robotiku napajanu umjetnom inteligencijom{1}}u njegu pacijenata, kao i predstavljajući svog novog kolaborativnog robota Scrub Nurse Collaborative Robot koji pomaže u optimizaciji tokova rada u operacijskoj sali.
Lideri u industriji grade uz NVIDIA tehnologije
NVIDIA partneri i klijenti u proizvodnji, transportu, zdravstvu i industrijskom softveru koriste svoje fizičke AI biblioteke za unapređenje razvoja autonomnih sistema i industrijske veštačke inteligencije.
Kako ove biblioteke postanu spremne za{0}} agente, programeri mogu koristiti NVIDIA vještine kako bi pomogli agentima da automatiziraju postavljanje, izvršenje i ponavljanje u složenim fizičkim AI tokovima rada.
U proizvodnji elektronike, TSMC i Pegatron su fini-modeli za vizuelnu inspekciju. Pegatron je navodno smanjio vrijeme obuke modela i implementacije za 67% koristeći sintetičke podatke generisane vještinom Defect Image Generation.
Delta Electronics je generisala sintetičke podatke o greškama i koristila veštinu da uhvati višak lemljenja na metalnim sabirnicama, poboljšavajući stopu detekcije za 17%. Inventec je razvio svoj cevovod za vizuelnu inspekciju Observation Agent integracijom veštine generisanja defektne slike, smanjujući napor prikupljanja podataka o greškama za proizvodnju kućišta laptopa za 30%.
Foxconn je, radeći sa DeepHow-om, iskoristio tu vještinu za poboljšanje efikasnosti proizvodnje tako što je rano hvatao greške, povećavajući prinos prvog prolaza za oko 3%.
U industrijskoj veštačkoj inteligenciji, Cadence, Dassault Systèmes, Siemens i Synopsys koriste NVIDIA Omniverse biblioteke i veštine za inženjersku inspekciju podataka, simulaciju i interaktivne digitalne blizance. PTC, MetAI i Lightwheel koriste NVIDIA Isaac Sim framework i OpenUSD-bazirane tokove posla da transformišu CAD podatke u sredstva i okruženja spremne za simulaciju.
Kao dio svoje mape puta "Autonomous Fab 2030", SK hynix implementira poluprovodničke fab digitalne blizance koristeći NVIDIA Omniverse. Proizvođač čipova također sarađuje sa NVIDIA-om i SK Telecomom na validaciji NVIDIA Agent Toolkita za proizvodnju-specifične fizičke AI.
Samovozeći programeri Li Auto, Afari i DeepRoute.ai koriste NVIDIA Omniverse NuRec modele za rekonstrukciju i renderiranje neuronske scene. Generirali su više od 1.000 rekonstrukcija i više od 300.000 rendera i simulacija dnevno.
Pored toga, AV kompanije koriste novi repozitorijum veština agenta da ubrzaju i unaprede svoj razvoj sigurnijih, sposobnijih sistema autonomne vožnje. Foxconn, VinFast, Uber i HUMAIN pridružili su se ekosistemu NVIDIA DRIVE Hyperion kako bi razvili i implementirali SAE Level 4 robotaxis.
Alpamayo 2 Super je već preuzet preko 500.000 puta i proglašen je za najbolju tehnologiju na Computexu, rekao je Spencer Huang, direktor proizvoda za robotiku u NVIDIA-i.
Alati za fizičke AI agente su sada dostupni
NVIDIA je rekla da su njeni alati i vještine fizičkih AI agenta dostupni putemGitHubiskills.shza upotrebu sa bilo kojim sredstvom za kodiranje.
Agentske vještine i alati za sintetičko generiranje podataka -Neural Reconstruction, Video Augmentacija, Generisanje defektne slike- su također dostupni na NVIDIA Brev kaoPhysical AI Launchables, unaprijed konfigurirana okruženja koja spajaju vještine agenta i alate za brže generiranje i evaluaciju sintetičkih podataka.
Microsoft,CoreWeave, iNebiusintegriraju ove vještine i alate agenta sa svojim uslugama u oblaku kako bi omogućili programerima da pojednostave i skaliraju generiranje i implementaciju sintetičkih podataka.
Unitree humanoid referenca za NVIDIA Isaac GR00T
NVIDIA je takođe najavila NVIDIA Isaac GR00T referentni humanoidni robot, otvoreni referentni dizajn humanoidnog robota izgrađen na NVIDIA Jetson Thor i razvojnoj platformi NVIDIA Isaac GR00T. Kompanija je rekla da će to pomoći u demokratizaciji pristupa naprednom hardveru i softveru bez potrebe za skupim, vlasničkim platformama kao interes zahumanoidi{0}}opće namjenepovećava.
NVIDIA je kombinirala tijelo robota pune veličine-sa spretnom manipulacijom, senzorima, kontrolom i ugrađenim AI računanjem:
Unitree H2 humanoidna šasija,visok skoro 6 stopa (1,8 m) i težak 150 lb. (68 kg), sa 31 stepenom slobode za testiranje na ljudskoj{7}}skali.
DualSharpa Wavetaktilne ruke sa pet-prstih,omogućavajući spretnu manipulaciju sa 22 stepena slobode i dovođenje robota do 75 stepeni slobode preko tela i ruku.
Senzor za više{0}}prikaza,uključujući stereo kameru postavljenu na glavu-sa širokim vidnim poljem (140 stepeni horizontalno, 102 stepena vertikalno), kamere za ručni zglob za manipulaciju-blizu i jedinicu za merenje inercije za praćenje pokreta.
Kontrola{0}}cijelog tijela,sa obrtnim momentom ruke do 120 Newton-metara, obrtnim momentom noge do 360 Newton-metara, nominalnom nosivom rukom od 7 kg (15,4 lb.) i maksimalnom nosivom nosivošću od 15 kg (33 lb.), što otključava sposobnije podizanje i doseg.
NVIDIA Jetson AGX Thor T5000 ugrađeni računar,sadrži NVIDIA Blackwell GPU sa 2.070 FP4 teraflopsa AI performansi, 14-CPU Arm sa 14-jezgara, 128 GB objedinjene memorije i konfigurabilni opseg snage od 40 do 130 W za senzorsku obradu u realnom vremenu i zaključivanje robota.
Povezivanjepreko Etherneta, Wi-Fi 6, Bluetooth 5.2, USB-a i niza mikrofona i zvučnika za glasovnu interakciju.
Baterija za produženi rad,sa 15Ah, 0,972kWh kapacitetom i oko tri sata životnog vijeka.
Uključeno-daljinsko zaustavljanje u nuždifunkcija za brzo sigurno isključivanje robota.
Isaac GR00T platforma uključuje:
NVIDIA Isaac Teleopza snimanje visoko-kvalitetnih demonstracijskih podataka robota za obuku i razvoj politike.
NVIDIA Isaac GR00T modeli otvorenih temeljada podrži humanoidno razmišljanje, učenje i ponašanje u više zadataka.
NVIDIA Isaac Sim iIsaac Labza simulaciju, obuku, testiranje i procjenu pravila robota prije implementacije u stvarnom-svijetu.
Ubrzani NVIDIA Isaac ROS srednji softverpremjestiti obučene politike na robote.
NVIDIA Jetson Thorza pokretanje u stvarnom-vremenu, na-zaključcima i kontroli robota.
Sistem je dizajniran da bude modularan, tako da robotski timovi mogu koristiti punu platformu ili integrirati odabrane mogućnosti u postojeće razvojne kanale, pomažući im da skaliraju humanoidni razvoj bez ponovne izgradnje iste infrastrukture za svakog robota ili zadatak.
Vodeće istraživačke institucije uključujući Ai2, ETH Zurich, Stanford Robotics Center i UC San Diego Advanced Robotics and Controls Laboratory planiraju koristiti ovaj referentni dizajn za unapređenje istraživanja humanoidne robotike.
"Da bi ostvarili napredak ka robotima opće{0}}namjene, istraživačima su potrebne platforme koje su i sposobne i široko dostupne," rekao je Deepak Pathak, suo{1}}osnivač i izvršni direktor Skild AI. "Referentni dizajn omogućava većem broju istraživača da sudjeluju u graničnim humanoidnim istraživanjima i brže prelaze s ideja na eksperimente. Ovo pomaže naprijed cijeli ekosistem istraživanja robotike."