🧚♀️电子精灵研究结果v3
🏷 📆目标, 🐈逍遥猫
最近一直在研究电子精灵相关,包括智能萌宠、AI、Live2D、数字人、虚拟主播、桌面精灵等,还有虚拟偶像、虚拟角色、MMD、脸部处理、姿态处理、机器人、自动机、人工生命等。这些分类有区别也有交叉,不好严格区分,所以以后就统称电子精灵吧。
就像这个视频说的,现在流行的 AI 主要是大语言模型 LLM,只能算是大脑或精神,而不是身体或实体,没有跟环境打交道的能力。这样的 AI 只是工具,难以成为独立的生物。
所以我的研究重点就在于如何让 AI 拥有自己的虚拟实体,有能力跟环境打交道。这样我的专业技能也可以更好的利用起来。要打造虚拟实体,还得先有虚拟环境,所以虚拟实体和环境是我未来的大方向。这也相当于回到过去的初心,实现年轻时曾经的梦想。aBowman做的这样的小众产品也许是我重点学习的。
现在还处在泛泛阶段,这几个项目值得重点研究,包括:
- Lobe Vidol:体验虚拟偶像创作的魔力,享受我们精致的UI设计,支持MMD的舞蹈内容,并能与人物进行流畅的对话,所有这些功能都集成在一个无缝的平台上。
- Live3D:Live3D 致力于构建一个令人惊奇的创意平台,给虚拟主播们。
- VRoid: 3D 建模,给每个人,在每个地方。
- Live2D Cubism:Live2D 制作工具。我还买了一本书《让插画动起来:零基础学Live2D从建模到动画》,可以好好学。
- Live2DViewerEX:最好的跨平台Live2D解决方案,三种显示模式(壁纸/桌面/桌面窗口),多种平台(Windows/MacOS/Android/iOS),自带高精度面部捕捉,以及各种丰富的功能。
- Talking Head Anime from a Single Image:单张图片动态生成 Live2D 头部动画。
- live2d-TTS-LLM-GPT-SoVITS-Vtuber:低成本的简单基于live2d TTS文字转语音和大模型聊天的直播解决方案。
- Open-LLM-VTuber:通过语音交互、面部表情捕捉和长期记忆功能,实现跟虚拟主播自然流畅的对话体验。
- LunaAI:是一款结合了最先进技术的虚拟AI主播,它整合了很多高效的人工智能模型和平台。
- ChatWaifu:移动版二次元 AI 老婆聊天器。
- AiVpet:一款创新的AI虚拟桌宠软件,它突破了传统桌面宠物的局限,通过深度学习和自然语言处理等AI技术,为用户提供了一个知识渊博、能言善辩的AI伴侣。
- AI萌娘:自称史上最聪明能干的桌面宠物。
- DH_live:每个人都能用的数字人。
- AwesomeDigitalHuman:打造一个有温度的数字人,给数字人注入灵魂。
- anime.gf:本地优先开源 LLM 前端。用户友好、支持多 API、可配置的 LLM 生成设置、可自定义主题。桌面上的开源老婆。
电子精灵总体上的技术架构还是可以参考 LunaAI 的这张示意图:
编辑>>