За последние четыре года исследовательская группа лаборатории искусственного и механического интеллекта (AMI) Итальянского технологического института (IIT-Итальянский технологический институт) в Генуе (Италия) разработала передовые технологии создания аватаров, известные как система iCub3. в непрерывном тестировании с использованием реальных сценариев.
Система использовалась, чтобы позволить человеку-оператору удаленно посещать места на расстоянии 300 км, развлекать публику на мероприятиях и выступлениях на телевидении, а также участвовать в международном конкурсе ANA Avatar XPrize.
В своей исследовательской работе , опубликованной в журнале Science Robotics , группа освещает проблемы, с которыми они столкнулись, и решения, реализованные для разработки системы аватаров. Их подход подчеркивает, насколько важно, чтобы исследования выходили за пределы лабораторных границ и устраняли трудности, связанные с изменчивостью реального мира, чтобы разработать надежную гуманоидную роботизированную платформу, которая вскоре может стать частью экономической и производственной системы.
Система iCub3 уже превратилась в нового робота ergoCub, разработанного для обеспечения максимальной приемлемости в рабочей среде.
Исследовательскую группу в лаборатории АМИ ИИТ координирует итальянский исследователь Даниэле Пуччи и насчитывает около 50 исследователей. Система аватаров iCub3 в основном состоит из робота iCub3 — одной из последних версий робота- гуманоида iCub , родившегося в ИИТ 20 лет назад — и носимых технологий под названием iFeel, которые отслеживают движения человеческого тела.
За последние четыре года исследовательская группа лаборатории искусственного и механического интеллекта (AMI) Итальянского института технологий в Генуе (Италия) разработала передовые технологии создания аватаров, известные как система iCub3, в ходе непрерывного тестирования в реальных сценариях. . Система использовалась, чтобы позволить человеку-оператору удаленно посещать места на расстоянии 300 км, развлекать публику на мероприятиях и выступлениях на телевидении, а также участвовать в международном конкурсе ANA Avatar XPrize. В исследовательской статье, опубликованной сегодня в журнале Science Robotics , группа освещает проблемы, с которыми они столкнулись, и решения, реализованные для разработки системы аватаров. Фото: IIT-Istituto Italiano di Tecnologia.
Система аватаров была разработана для облегчения воплощения роботов-гуманоидов людьми-операторами, охватывающими такие аспекты, как передвижение, манипулирование, голос и мимика, с комплексной сенсорной обратной связью, включая визуальные, слуховые, тактильные, весовые и сенсорные модальности. Он был разработан IIT в сотрудничестве с Итальянским национальным институтом страхования от несчастных случаев на производстве (INAIL).
Исследовательская группа IIT протестировала и адаптировала систему аватаров iCub3 в трех различных реальных сценариях.
В ноябре 2021 года во время первого испытания человек-оператор, находящийся в Генуе, управлял аватаром на Венецианской биеннале в Венеции (примерно в 300 километрах), имея возможность удаленно посетить выставку итальянского искусства. Задача заключалась в обеспечении стабильной удаленной связи между двумя объектами в течение ограниченного периода времени тестирования.
Кроме того, движение робота и взаимодействие с окружающей средой должны были быть осторожными и безопасными, учитывая деликатный характер художественных выставок.
Группа Пуччи использовала носимый костюм IIT iFeel для отслеживания движений тела оператора, а система аватаров передавала эти движения на робота iCub3 в Венеции, позволяя ему повторять действия пользователя в Генуе.
Оператор осуществлял точный контроль над частями тела робота, включая пальцы и веки. Кроме того, были использованы специальные тактильные устройства, позволяющие оператору чувствовать объятия издалека. Передача осуществлялась через стандартное оптоволоконное интернет-соединение, что привело к задержке примерно в сто миллисекунд.
В июне 2022 года на итальянском фестивале цифровых инноваций We Make Future Show состоялось второе испытание, которое поставило дополнительные задачи.
Оператор в Генуе управлял роботом, размещенным на площадке фестиваля в Римини (приблизительно 300 км). Задача робота заключалась в получении и транспортировке полезной нагрузки от человека при перемещении по сцене театра перед аудиторией в около 2000 зрителей.
Спектакль проходил вживую, на фоне значительных электромагнитных помех. Исследовательская группа IIT представила специализированные тактильные устройства, позволяющие оператору воспринимать вес, переносимый роботом, и расширила выразительные способности робота, поскольку он должен был развлекать аудиторию.
В ноябре 2022 года вся архитектура была представлена на конкурсе All Nippon Airways (ANA) Avatar XPrize в Лос-Анджелесе. Арена конкурса напоминала панораму, снятую с Марса или другой далекой планеты, что предполагало освоение космоса как потенциальное применение аватаров в будущем.
Каждым аватаром управляли люди, которые не входили в исследовательскую группу и нуждались в обучении непосредственно перед гонкой; кроме того, у них было всего 25 минут на выполнение 10 различных заданий.
Робот iCub3 должен был выполнять тяжелые задачи в течение ограниченного времени, и эта ситуация довела робота до предела его возможностей. Команда IIT снабдила руки робота сенсорной кожей, чтобы он мог воспринимать текстуру объектов, которыми манипулируют.
Управление роботом было спроектировано максимально интуитивно понятным, что позволяет оператору напрямую контролировать все части и возможности робота. Например, оператор мог управлять движением робота, идя на месте, создавая повышенное ощущение воплощения.
Опыт, приобретенный командой Даниэле Пуччи, сыграл основополагающую роль в превращении системы аватаров iCub3 в нового робота, робота ergoCub, разработанного для обеспечения максимальной приемлемости в рабочей среде. Новый гуманоидный ergoCub, который в настоящее время разрабатывается в IIT, предназначен для минимизации риска и усталости при выполнении совместных задач для работников промышленности и здравоохранения.