ChatGPT + Instant avatar = Streaming Avatar — новое решение от HeyGen
Сервис по генерации ИИ-видео HeyGen, который мы уже использовали для оживления фото, выпустил решение, позволяющее организовать общение с виртуальным персонажем в режиме реального времени.
Назначение Streaming Avatar — замена человека в сферах, где предполагается интерактивное видео-общение: от консультирования в интернет-магазинах до проведения вебинаров.
Бесплатно ознакомиться с Streaming Avatar можно в HeyGen Lab
(требуется регистрация или вход с Google-аккаунтом). Для общения нужно запустить чат: длительность одной сессии ограничена 10 минутами. Иногда приходится подождать очереди несколько минут.
Streaming Avatar работает в двух режимах: чат и повторение. В первом случае ИИ отвечает на ваши вопросы, во втором — просто повторяет введенные фразы. Общаться можно как набирая текст, так и с помощью голосовых сообщений. Официально персонаж в демо-версии разговаривает только на английском, однако если попросить его перейти на русский — он это сделает, хотя будет говорить с очень заметным акцентом.
Дополнительно можно прописать промпт, задающий общее поведение ИИ-аватара. Например, чтобы он считал себя продавцом-консультантом или лектором онлайн-курса.
HeyGen заявляет:
Благодаря объединению инноваций в области ИИ, компьютерного зрения и генерации речи реалистичный аватар теперь реагирует в реальном времени на вербальные и невербальные сигналы.
Это означает, что такие тонкости, как выражение лица, поза и жесты плавно синхронизируются во время видеозвонков и при общении в виртуальных пространствах.
Combining innovations in AI, computer vision, and speech synthesis, our realistic avatar now responds in real-time to both verbal and non-verbal cues.
This means subtleties like facial expressions, posture, and gestures are seamlessly synced during video calls and in virtual spaces.
Для использования Streaming Avatar в своих задачах его нужно интегрировать по API, документация предоставляется. При индивидуальной настройке доступны все основные возможности сервиса, в том числе выбор аватара и голоса. Решение пока в бета-версии, стоимость подключения нужно обсуждать с HeyGen индивидуально.