NVIDIA презентувала DreamDojo — нову AI-систему типу world model, призначену для навчання роботів взаємодії з фізичним світом на основі 44 тисяч годин відеоспостережень за діями людини. Розробка може суттєво зменшити вартість і час підготовки гуманоїдних роботів до роботи в реальних середовищах.
Дослідження, опубліковане цього місяця за участі науковців із UC Berkeley, Stanford, University of Texas at Austin та інших установ, описує DreamDojo як першу роботизовану модель світу, здатну узагальнювати знання про об’єкти та середовища після посттренування.
Основою системи є датасет DreamDojo-HV, що містить 44 тисяч годин різноманітних відео з людьми. За даними NVIDIA, це у 15 разів більша тривалість, у 96 разів більше навичок і у 2000 разів більше сцен, аніж у попередніх найбільших наборах даних для тренування world models.
Навчання відбувається у два етапи. Спочатку модель засвоює загальні фізичні закономірності, навчаючись по відео. Потім відбувається посттренування під конкретне роботизоване втілення з безперервними роботичними діями. Це дає можливість роботам спочатку зрозуміти фізику світу, а вже потім адаптувати знання під конкретне обладнання.
Одним з основних технічних результатів стала продуктивність у реальному часі. Після дистиляції DreamDojo забезпечує 10 FPS протягом понад однієї хвилини, що робить можливими сценарії телоуправління і планування дій на льоту. Система була продемонстрована на кількох платформах, зокрема GR-1, G1, AgiBot і YAM, із реалістичними симуляціями взаємодії з об’єктами в різних середовищах.
Запуск DreamDojo відбувається на тлі активного зростання інтересу NVIDIA до робототехніки. На Всесвітньому економічному форумі в Давосі CEO компанії Дженсен Хуанг назвав AI-робототехніку можливістю покоління. За його словами, поточні капітальні витрати технологічних гігантів, що можуть сягнути $660 мільярдів на рік, є виправданими як частина найбільшого інфраструктурного будівництва в історії.
Для підприємств основна цінність DreamDojo полягає в можливості симуляції та тестування поведінки роботів без розгортання в реальному середовищі. Це дає можливість оцінювати політики управління, планувати дії та зменшувати ризики ще до фізичного впровадження, що особливо важливо для промислових і логістичних сценаріїв.
Команда розробників повідомила про плани щодо публічного релізу коду, однак термінів поки не назвала.
Читайте також на ProIT, що Airbus планує залучити гуманоїдних роботів UBTech до виробництва літаків.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
