LiveTalking 从零到上线开源AI实时数字人客服与直播带货完整指南【免费下载链接】metahuman-streamReal time interactive streaming digital human项目地址: https://gitcode.com/GitHub_Trending/me/metahuman-stream凌晨两点的直播间空无一人问题却在公屏上不停滚动下班后的客服工位电话响了也没人接。LiveTalking实时交互流式数字人引擎就是为此准备的你给它一段文字或一段语音数字人立刻开口说话并推流视频口型、语音、画面全程同步。它既可以做 7×24 在线的虚拟客服也能当无人直播间的数字主播。它到底能干什么虚拟客服坐席 用户打字或说话数字人实时回答支持随时打断、追问重说默认接入大模型对话回答不是固定话术而是根据问题现生成的每路连接独立会话多人同时咨询互不干扰24 小时无人直播大模型自动生成带货话术数字人照着讲不说话的空档自动播放你编排好的动作视频画面不会定格呆住走 RTMP 协议直接推流到直播平台不用自己搭推流批量出镜视频通过 API 提交文案服务端渲染并合成 MP4 给你下载一次配好文案批量产出数字人出镜的短视频不需要真人拍3步跑起来 环境要求不高一张消费级显卡就够起步项目要求系统LinuxUbuntu 22.04 已验证Python3.12建议 conda 建独立环境PyTorch2.9.1 CUDA 12.8先用 nvidia-smi 确认自己显卡的 CUDA 版本GPUwav2lip 模型 RTX 3060 起步musetalk 建议 RTX 3080Ti 及以上第 1 步克隆仓库并安装依赖git clone https://gitcode.com/GitHub_Trending/me/metahuman-stream cd metahuman-stream pip install -r requirements.txt第 2 步放模型文件按 README 里的模型下载表拿到 wav2lip256.pth 与形象包把模型拷进models/目录并改名为wav2lip.pth把形象文件夹解压到data/avatars/下。第 3 步启动服务python app.py --transport webrtc --model wav2lip --avatar_id wav2lip256_avatar1浏览器打开http://服务器IP:8010/index.html点开始连接就能看到数字人在文本框输入一句话发送它开口说话。注意服务端要开放 TCP 8010 和 UDP 1-65536 端口。它为什么能做到把数字人的嘴脸想成一组跟着音频跳动的关键点文本先经大模型生成回复TTS 合成语音语音再转成 mel 频谱——可以理解为把波形变成一串数字口型模型看着这串数字逐帧生成嘴部画面贴回你原始拍摄的高清视频里最后走 WebRTC/RTMP 推出去。整条链路是流式衔接的上一句还没讲完下一句的语音已经在合成路上所以能边听边说、随时被打断。想看每一层怎么交接数据流图和avatars/下的模型实现是入口。进阶玩法换一张自定义形象拍一段真人出镜视频用 Web 端/avatar.html页面上传生成形象或直接调 Avatar 生成 API 提交任务、轮询进度。生成逻辑在各模型的genavatar.py里如 avatars/musetalk/genavatar.py想改裁剪、平滑参数可以看这里。接上你自己的知识库默认对话走 Qwenllm.py 里是 OpenAI 兼容接口在 config.yaml 里配置llm_provider和 API Key 环境变量即可。想换模型或把系统提示词改成你的商品介绍话术改这一处就够了。把数字人塞进会议软件 加--transport virtualcam启动后数字人会变成一个虚拟摄像头设备会议软件里选中它对方看到的就是数字人在入会虚拟摄像头指南 有逐步演示。改前端界面浏览器端页面全在 web/ 目录首页index.html、形象生成页avatar.html、监控会话的管理后台admin.html照着改样式和交互即可接口定义见 docs/api.md、docs/admin_api.md。性能与适用边界实测帧率wav2lip256 在 RTX 3060 上 60 FPS、RTX 3080Ti 上 120 FPSmusetalk 在 RTX 4090 上 72 FPS日志里inferfpsGPU 推理帧率和finalfps最终推流帧率都 ≥ 25 才算真实时用这两个数判断你的机器扛不扛得住并发别拍脑袋不说话时路数取决于 CPU每路都要视频压缩同时说话的路数取决于 GPU每路都要口型推理config.yaml里max_session默认 5按显卡调不适合的场景要求电影级高清大特写的宣传片模型会糊边以及需要强算力实时渲染的复杂 3D 数字人它的主场是 450×450 左右、25-30 FPS 的实时对话画面写在最后如果你正缺一套能直接商用的 AI 数字人方案——做虚拟客服、无人直播或批量视频先看一遍 docs/api.md 把接口摸熟跑不通就去提 issue。【免费下载链接】metahuman-streamReal time interactive streaming digital human项目地址: https://gitcode.com/GitHub_Trending/me/metahuman-stream创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
LiveTalking 从零到上线：开源AI实时数字人客服与直播带货完整指南
LiveTalking 从零到上线开源AI实时数字人客服与直播带货完整指南【免费下载链接】metahuman-streamReal time interactive streaming digital human项目地址: https://gitcode.com/GitHub_Trending/me/metahuman-stream凌晨两点的直播间空无一人问题却在公屏上不停滚动下班后的客服工位电话响了也没人接。LiveTalking实时交互流式数字人引擎就是为此准备的你给它一段文字或一段语音数字人立刻开口说话并推流视频口型、语音、画面全程同步。它既可以做 7×24 在线的虚拟客服也能当无人直播间的数字主播。它到底能干什么虚拟客服坐席 用户打字或说话数字人实时回答支持随时打断、追问重说默认接入大模型对话回答不是固定话术而是根据问题现生成的每路连接独立会话多人同时咨询互不干扰24 小时无人直播大模型自动生成带货话术数字人照着讲不说话的空档自动播放你编排好的动作视频画面不会定格呆住走 RTMP 协议直接推流到直播平台不用自己搭推流批量出镜视频通过 API 提交文案服务端渲染并合成 MP4 给你下载一次配好文案批量产出数字人出镜的短视频不需要真人拍3步跑起来 环境要求不高一张消费级显卡就够起步项目要求系统LinuxUbuntu 22.04 已验证Python3.12建议 conda 建独立环境PyTorch2.9.1 CUDA 12.8先用 nvidia-smi 确认自己显卡的 CUDA 版本GPUwav2lip 模型 RTX 3060 起步musetalk 建议 RTX 3080Ti 及以上第 1 步克隆仓库并安装依赖git clone https://gitcode.com/GitHub_Trending/me/metahuman-stream cd metahuman-stream pip install -r requirements.txt第 2 步放模型文件按 README 里的模型下载表拿到 wav2lip256.pth 与形象包把模型拷进models/目录并改名为wav2lip.pth把形象文件夹解压到data/avatars/下。第 3 步启动服务python app.py --transport webrtc --model wav2lip --avatar_id wav2lip256_avatar1浏览器打开http://服务器IP:8010/index.html点开始连接就能看到数字人在文本框输入一句话发送它开口说话。注意服务端要开放 TCP 8010 和 UDP 1-65536 端口。它为什么能做到把数字人的嘴脸想成一组跟着音频跳动的关键点文本先经大模型生成回复TTS 合成语音语音再转成 mel 频谱——可以理解为把波形变成一串数字口型模型看着这串数字逐帧生成嘴部画面贴回你原始拍摄的高清视频里最后走 WebRTC/RTMP 推出去。整条链路是流式衔接的上一句还没讲完下一句的语音已经在合成路上所以能边听边说、随时被打断。想看每一层怎么交接数据流图和avatars/下的模型实现是入口。进阶玩法换一张自定义形象拍一段真人出镜视频用 Web 端/avatar.html页面上传生成形象或直接调 Avatar 生成 API 提交任务、轮询进度。生成逻辑在各模型的genavatar.py里如 avatars/musetalk/genavatar.py想改裁剪、平滑参数可以看这里。接上你自己的知识库默认对话走 Qwenllm.py 里是 OpenAI 兼容接口在 config.yaml 里配置llm_provider和 API Key 环境变量即可。想换模型或把系统提示词改成你的商品介绍话术改这一处就够了。把数字人塞进会议软件 加--transport virtualcam启动后数字人会变成一个虚拟摄像头设备会议软件里选中它对方看到的就是数字人在入会虚拟摄像头指南 有逐步演示。改前端界面浏览器端页面全在 web/ 目录首页index.html、形象生成页avatar.html、监控会话的管理后台admin.html照着改样式和交互即可接口定义见 docs/api.md、docs/admin_api.md。性能与适用边界实测帧率wav2lip256 在 RTX 3060 上 60 FPS、RTX 3080Ti 上 120 FPSmusetalk 在 RTX 4090 上 72 FPS日志里inferfpsGPU 推理帧率和finalfps最终推流帧率都 ≥ 25 才算真实时用这两个数判断你的机器扛不扛得住并发别拍脑袋不说话时路数取决于 CPU每路都要视频压缩同时说话的路数取决于 GPU每路都要口型推理config.yaml里max_session默认 5按显卡调不适合的场景要求电影级高清大特写的宣传片模型会糊边以及需要强算力实时渲染的复杂 3D 数字人它的主场是 450×450 左右、25-30 FPS 的实时对话画面写在最后如果你正缺一套能直接商用的 AI 数字人方案——做虚拟客服、无人直播或批量视频先看一遍 docs/api.md 把接口摸熟跑不通就去提 issue。【免费下载链接】metahuman-streamReal time interactive streaming digital human项目地址: https://gitcode.com/GitHub_Trending/me/metahuman-stream创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
