AI数字人实现 - 学习笔记

1、使用文字生成声音。
使用https://github.com/index-tts/index-tts.git

或https://github.com/2noise/ChatTTS

或OpenAudio (原 Fish-Speech) https://github.com/fishaudio/fish-speech 使用openaudio-s1-mini 这个模型
2、生成视频与对口型

虚拟人合成，可用声音、面部标志驱动
https://github.com/lipku/LiveTalking

数字人制作，根据声音修改视频人物的唇形
https://github.com/TMElyralab/MuseTalk

EchoMimicV2是阿里蚂蚁集团推出的半身人体AI数字人项目，基于参考图片、音频剪辑和手部姿势序列生成高质量动画视频，确保音频内容与半身动作的一致性
https://github.com/antgroup/echomimic_v2

4、AI换脸

LivePortrait 是一个用于实现高质量、实时的人像动画合成（portrait animation）的 AI 工具。
它能通过一段驱动视频（driver video）或实时摄像头输入，来控制一张静态人像照片做出相应的表情和动作，实现“让照片动起来”的效果。

6、https://github.com/TMElyralab/MuseV
虚拟歌手，数字人直播，AI 歌手（如 AI 唱歌视频），虚拟主播内容生成