Учёные учат роботов понимать жесты человека и читать по губам
Ученые из Петербурга создают программы, которые понимают язык жестов и читают по губам, сообщает корреспондент сайта tvbrics.com со ссылкой на ТАСС.
Созданием робота занимаются в Санкт-Петербургском институте информатики и автоматизации Российской академии наук (СПИИРАН). Мобильный информационный робот будет понимать не только язык жестов, но и русский язык. Таким образом, программа сможет взаимодействовать с глухими людьми.
Робот сможет помогать покупателям супермаркетов. Воспринимая их запросы, он покажет нужные товары и перевезёт продукты на тележке. Кроме того, эту систему можно будет использовать в банках, МФЦ и любых других организациях, имеющих дело с клиентами, в том числе с теми, кто общается на языке жестов.
Еще один параллельный проект, находящийся в разработке, предполагает, что робот с высокой точностью распознает речь по движению губ. Это также пригодится при общении с глухими людьми, а кроме того, поможет распознать речь в шумных местах.
Заведующий лабораторией речевых и многомодальных интерфейсов Алексей Карпов рассказал, что для распознавания речи и чтения по губам используется высокоскоростная видеокамера. Она выдаёт 200 кадров в секунду, в несколько раз больше, чем у обычных камер. Затем полученные изображения и звук объединяются. С помощью этой техники система уже сейчас умеет распознавать сотни русских слов.