[Proposal] 多模型数字人渲染与 WebRTC 实时交互 #9

背景

不同教学环境对画质、延迟和硬件资源的要求不同。EduAvatar 当前集成多种数字人渲染引擎，并通过 WebRTC 将实时音视频推送到浏览器。

目标

提供统一、可靠的数字人模型切换与 Avatar 管理体验，让用户根据硬件条件在 Wav2Lip、MuseTalk 和 Ultralight 之间选择，并保持一致的浏览器交互方式。

当前能力

• 支持 Wav2Lip 数字人唇形同步渲染。
• 项目中包含 MuseTalk 和 Ultralight 渲染实现。
• 支持通过启动参数选择模型和 Avatar ID。
• 支持从人物素材预处理生成自定义 Avatar。
• 使用 WebRTC 将数字人音视频实时推送到浏览器。
• 数字人前端可接收 TTS 音频并驱动口型变化。

Proposal（后续完善）

• 提供统一的模型配置文件和界面切换入口。
• 启动前检测 GPU、显存、模型权重和 Avatar 文件完整性。
• 统一三种模型的 Avatar 预处理命令、目录结构和错误提示。
• 根据硬件情况推荐渲染模型，并支持自动回退到低资源模式。
• 记录帧率、端到端延迟、显存占用和丢帧情况。
• 为 WebRTC 连接断开、网络抖动和重连增加可见状态。

验收标准

• Wav2Lip、MuseTalk、Ultralight 均可通过统一配置选择。
• 模型或 Avatar 文件缺失时，启动前给出准确提示。
• 自定义 Avatar 有可重复执行的预处理流程。
• 浏览器能够建立 WebRTC 连接并正常显示数字人。
• 低配环境可以手动或自动回退到资源占用更低的模型。
• WebRTC 断线后支持重连，界面能够显示连接状态。
• 可采集并查看帧率、延迟和资源占用指标。

涉及模块

• fronted/LiveTalking-main/app.py
• fronted/LiveTalking-main/lipreal.py
• fronted/LiveTalking-main/musereal.py
• fronted/LiveTalking-main/lightreal.py
• fronted/LiveTalking-main/webrtc.py