Роботтар видео көру арқылы шеге қағып, тамақ пісіруді үйренді

Ғалымдар тобы қарапайым адамдардың бейнероликтерін көре отырып, роботтарға күрделі құралдарды қолдануды үйрететін жүйе жасап шығарды, деп хабарлайды El.kz интернет порталы.

Нәтижесінде роботтар табада жұмыртқа қуыру, шеге қағу, тіпті қақпаға доп бағыттауды үйренді. Жүйенің басты жетістігі – роботтар «балалар сияқты» үйренеді, яғни басқалардың әрекетін бақылау арқылы тәжірибе жинайды.

2024 жылдың қарашасында робот кәсіби хирургтардың бейнежазбаларын қарап, хирургиялық процедураларды дәрігерлер секілді орындауды меңгерді. Ол үшін ғалымдар жүздеген бейнені пайдаланған. Бұл бейнелер нақты оталар кезінде da Vinci робот-манипуляторларына орнатылған камералармен түсірілген. Нәтижесінде робот үш негізгі хирургиялық тапсырманы игерді: инемен жұмыс істеу, дене тіндерін көтеру және тігіс салу. Осылайша бейне арқылы оқыту робототехникадағы жаңа бағытқа айналды – қарапайым құралдармен жұмыс істеуден бастап хирургиялық операцияларға дейін қолданылады.

Көптеген заманауи роботтар нақты, қайталанатын әрекеттерді орындауға ғана бағдарламаланған. Олар күтпеген жағдайларға икемделе алмайды, ал оларды жаңа міндеттерге бейімдеу үшін қайта күрделі бағдарламалау қажет. Бұл мәселені шешу үшін зерттеушілер роботтарға құралдарды табиғи жолмен үйренуге мүмкіндік беретін технология жасап шықты – олар бейнежазбаларды бақылап қана үйренеді.

Жаңа әдіс «Tool-as-Interface» («Құрал – интерфейс ретінде») деп аталады және arXiv ғылыми платформасында жарияланды. Оқыту үшін екі смартфоннан алынған бейне жеткілікті.

Жүйенің жұмысы былай түсіндіріледі: алдымен компьютерлік көру моделі MASt3R бейненің екі кадрын талдап, көріністің үшөлшемді моделін жасайды. Содан кейін 3D Gaussian splatting әдісі арқылы қосымша ракурстар құрастырылады, бұл роботқа көріністі әр қырынан «көруге» мүмкіндік береді.

Әдіс кадрдан адамды алып тастайды. Жүйе тек құрал мен оның айналамен өзара әрекеттесуін бөліп көрсетеді. Бұл тәсіл роботқа адамның қол қимылдарын көшіруден гөрі құралдың бағыты мен қозғалысына назар аударуға мүмкіндік береді. Соның арқасында үйренген дағдылар әртүрлі роботтарға бейімделе береді.

Ғалымдар жүйені бес тапсырма бойынша сынады: шеге қағу, «тефтели» ұстау, табада жұмыртқаны аудару, шарап бөтелкесін ашу және доп тебу.