工具
Sibilla Live Link
面向АОЭ购物中心的语音AI导购助手。全息面板上的虚拟角色回答访客问题，并通过可视化信息帮助他们找到商品和店铺。
项目介绍
Sibilla Live Link是面向АОЭ购物中心的虚拟导购助手项目。访客通过一块9 × 16英寸的全息面板与数字角色Sibilla交流，语音交互支持三种语言。
项目希望让查找商品和店铺成为自然对话的一部分。访客只需向Sibilla提问，她便会作出回答，并用直观的信息图辅助说明。
Sibilla如何工作
- 语音唤醒。 访客使用三种支持语言中的一种说出“你好，Sibilla”，系统随即启动交互流程，角色播放欢迎动画。
- AI对话。 系统接收访客的语音请求，由ChatGPT处理并生成回答。
- 语音与面部动画。 回答的音频文件被发送至NVIDIA Audio2Face，根据声音生成的面部动画通过Live Link传入Unreal Engine 5.3，使角色的表情与语音保持一致。
- 购物指引。 Sibilla以语音回答，同时展示信息图，说明所需商品可在哪家店铺购买，以及店铺在购物中心内的位置。
技术栈
- Unreal Engine 5.3与C++：应用开发、角色渲染及交互逻辑。
- ChatGPT：处理请求并生成回答。
- NVIDIA Audio2Face：根据音频生成面部动画。
- Live Link：将角色动画传输至Unreal Engine。
- TCP/IP：系统组件之间的数据通信。
