🧚‍♀️电子精灵研究结果v6

🏷 📆目标, 🐈逍遥猫

最近一直在研究电子精灵相关，包括智能萌宠、AI、Live2D、数字人、虚拟主播、桌面精灵等，还有虚拟偶像、虚拟角色、MMD、脸部处理、姿态处理、机器人、自动机、人工生命等。这些分类有区别也有交叉，不好严格区分，所以以后就统称电子精灵吧。

就像这个视频说的，现在流行的 AI 主要是大语言模型 LLM，只能算是大脑或精神，而不是身体或实体，没有跟环境打交道的能力。这样的 AI 只是工具，难以成为独立的生物。

所以我的研究重点就在于如何让 AI 拥有自己的虚拟身体，有能力跟环境打交道。这样我的专业技能也可以更好的利用起来。要打造虚拟身体，还得先有虚拟环境，所以虚拟身体和环境是我未来的大方向。这也相当于回到过去的初心，实现年轻时曾经的梦想。

aBowman做的这样的小众产品也许是我重点学习的。还有类似胡桃日记这样的虚拟伴侣养成游戏，也是重点参考的。另外，还可以多研究下虚拟主播以及虚拟教师这方面的产业链，这样做的电子精灵，还可以给人用。

Neuro-sama这样的搞怪 AI 虚拟主播也可以多研究研究。找了一些受其启发的开源项目供研究：

  1. Neuro：重造 Neuro-sama，但是运行在本地模型上，用消费级硬件。
  2. AI VTuber：使用 OpenAI 模型和 Live2D 角色开发的类似 Neuro-sama 的人工智能。
  3. AI Waifu：一个开源的、可微调的、可定制的、可简化的 AI waifu，其灵感来自 neuro-sama，目标是为每个人提供一个基础平台来发展自己的 waifu。
  4. unsuperior-ai-waifu：完全在浏览器中运行的 Neuro-sama 仿冒品。

总体上还处在泛泛阶段，以下几个项目值得重点研究和参考。考虑到 AI 可能的泡沫破灭，之后重点还是做游戏与教育相关的软件产品，而不是死磕 AI。AI 也只是工具，可以长期研究使用，但是技术本身不是产品。

工具项目：

  1. Live2D Cubism：Live2D 制作工具。我还买了一本书《让插画动起来：零基础学Live2D从建模到动画》，可以好好学。
  2. Live3D：Live3D 致力于构建一个令人惊奇的创意平台，给虚拟主播们。
  3. VRoid: 3D 建模，给每个人，在每个地方。
  4. VTube Studio: 一款专为虚拟 YouTube 用户打造的应用程序，可让您轻松有趣地将自己的 Live2D 模型变为现实。
  5. EasyVtuber：魔改自久负盛名的talking head anime项目，以技术落地为目标增加了大量实用特性，全力保证配完环境就能开播。
  6. Inochi2D：一个实时二维皮套动画库。在运行时，根据给定的参数，对绑定在分层美术资源上的2D网格进行变形。这样的变形使得观众可以在二维图形中体验到三维的深度与动画效果。

开源项目：

  1. LunaAI：是一款结合了最先进技术的虚拟AI主播，它整合了很多高效的人工智能模型和平台。
  2. Lobe Vidol：体验虚拟偶像创作的魔力，享受我们精致的UI设计，支持MMD的舞蹈内容，并能与人物进行流畅的对话，所有这些功能都集成在一个无缝的平台上。
  3. Talking Head Anime from a Single Image：单张图片动态生成 Live2D 头部动画。
  4. live2d-TTS-LLM-GPT-SoVITS-Vtuber：低成本的简单基于live2d TTS文字转语音和大模型聊天的直播解决方案。
  5. Open-LLM-VTuber：通过语音交互、面部表情捕捉和长期记忆功能，实现跟虚拟主播自然流畅的对话体验。
  6. ChatWaifu：移动版二次元 AI 老婆聊天器。
  7. AwesomeDigitalHuman：打造一个有温度的数字人，给数字人注入灵魂。
  8. DH_live：每个人都能用的数字人。
  9. anime.gf：本地优先开源 LLM 前端。用户友好、支持多 API、可配置的 LLM 生成设置、可自定义主题。桌面上的开源老婆。
  10. VPet：虚拟桌宠模拟器，一个开源的桌宠软件，可以内置到任何WPF应用程序。
  11. Live2DWidget：把萌萌哒的看板娘抱回家 (ノ≧∇≦)ノ，用于 Web 平台的 Live2D 小部件。

闭源项目：

  1. Live2DViewerEX：最好的跨平台Live2D解决方案，三种显示模式（壁纸/桌面/桌面窗口），多种平台（Windows/MacOS/Android/iOS），自带高精度面部捕捉，以及各种丰富的功能。
  2. AiVpet：一款创新的AI虚拟桌宠软件，它突破了传统桌面宠物的局限，通过深度学习和自然语言处理等AI技术，为用户提供了一个知识渊博、能言善辩的AI伴侣。
  3. AI萌娘：自称史上最聪明能干的桌面宠物。

电子精灵总体上的技术架构还是可以参考 LunaAI 的这张示意图：LunaAI

编辑>>