Инструменты
Sibilla Live Link
Голосовой ИИ-консультант для торгового центра АОЭ: виртуальная девушка на голографической панели отвечает на вопросы посетителей и помогает найти нужный магазин.
О проекте
Sibilla Live Link — проект виртуального консультанта для торгового центра АОЭ. На голографической панели размером 9 × 16 дюймов посетителя встречает Сибилла — цифровой персонаж, с которым можно общаться голосом на одном из трёх поддерживаемых языков.
Идея проекта — сделать поиск товаров и магазинов частью естественного диалога. Посетителю достаточно обратиться к Сибилле: она ответит на вопрос и дополнит объяснение наглядной инфографикой.
Как работает Сибилла
- Голосовая активация. Посетитель произносит «Привет, Сибилла» на одном из трёх поддерживаемых языков. Система запускает сценарий общения, а персонаж отвечает анимацией приветствия.
- Диалог с ИИ. Система принимает голосовой запрос посетителя, а ChatGPT обрабатывает его и формирует ответ.
- Озвучивание и мимика. Аудиофайл с ответом передаётся в NVIDIA Audio2Face. Созданная по звуку лицевая анимация поступает через Live Link в Unreal Engine 5.3, чтобы речь и мимика персонажа были согласованы.
- Помощь с покупками. Сибилла озвучивает ответ и выводит инфографику: где можно приобрести нужный товар и в какой части торгового центра находится магазин.
Технологии
- Unreal Engine 5.3 и C++ — приложение, визуализация персонажа и логика взаимодействия.
- ChatGPT — обработка запросов и формирование ответов.
- NVIDIA Audio2Face — создание лицевой анимации на основе аудио.
- Live Link — передача анимации персонажа в Unreal Engine.
- TCP/IP — обмен данными между компонентами системы.
