Нейросеть научили предсказывать жесты на основе голоса человека Статьи редакции
Правда, пока не слишком точно.
Исследователи из Калифорнийского университета в Беркли создали нейросеть speech2gesture, которая способна предугадывать жесты, основываясь только на голосе человека. Она выдаёт реалистичный результат и оказывается точной почти в половине случаев.
Нейросеть обучили на 144 часах видеозаписей с 10 людьми, которым приходится много жестикулировать, включая телеведущих, преподавателей и проповедников. В результате, алгоритм научился передавать реалистичную жестикуляцию, которую синхронизировали с оригиналом.
Пока система работает с небольшой точностью и только в 44% случаев результат совпадают с оригиналом. В некоторых случаях нейросеть путает положение рук, но в любом случае генерирует вполне правдоподобный результат.
Чтобы поддержать будущие исследования команда опубликовала набор данных с характерными жестами и исходный код в открытом доступе.
Почему-то, когда я вижу новость про нейросеть, то она всегда написана Дамиром.
Это я без претензий, просто интересно почему так
потому что Дамир это нейросеть, которая обучена находить другие нейросети
Ему тема интересна, скорее всего.
Позже будет рисовать портрет по комментариям.
психологический портрет
Я так полагаю, что эта сетка не умеет в культурные различия жестикуляции. Да и как обучить этому....не особо представляю.
А есть нейросети которые учат миксить громкость в видосах?