“Ovaj rad započeli smo sa jednostavnom idejom - da napravimo sistem koji omogućavarobotima da koriste bezbroj onlajn videa sa instrukcijama kako bi naučili kompleksne veštine. Drugim rečima, kada robotu damo video u kome čovek nešto demonstrira, želimo da on obavi isti zadatak”, rekao je za TechXplore Vejkun Peng, koautor projekta i stručnjak Nacionalnog univerziteta u Singapuru.
Dok su ranije studije koristile tehnike učenja imitacijom pomoću videa, u ovom slučaju to je rađeno sa specifičnim snimcima u kojima ljudi obavljaju zadatke u istom okruženju kao i robot.
Softverski okvir koji su razvili Peng i njegove kolege dizajniran je da omogući robotu da imitira učenje prateći video sa instrukcijama, pa tako gledajući video na kome je prikazano kako se vezuje kravata može da učini isto. Njihov pristup ima tri komponente nazvane Real2Sim, Learn@Sim i Sim2Real. Prva je centralna i najvažnija.
„Real2Simprati kretanje objekta u videu s instrukcijama i imitira isti pokret na modelu u simulaciji“, rekao je Peng.
Nakon što ova komponenta odradi posao, Learn@Sim uči tačke savijanja i postavljanja što omogućava robotu da izvede istu akciju.
"Nakon toga uključuju se pravi robot sa dve ruke i radi treća komponenta”, rekao je Peng.
On i njegove kolege veruju da ovaj pristup može da se primeni i na druge zadatke. Studija je trenutno objavljena na preprint portalu arXiv i čeka recenziju stručnjaka.
Pogledajte i: