51工具盒子

依楼听风雨
笑看云卷云舒,淡观潮起潮落

一天时间完成3D数字人的克隆和交互

想着给自己的老家平遥古城整一个漂亮的3D数字人出来介绍古城的情景,就花了点时间用一天时间完成整个过程。 整个过程基本都是借用AI完成。 1. 用GPTs中的Midjourney 咒语大师写一段生成美女头像的提示词的文案 https://chat.openai.com/g/g-ayWu1l595-midjourneyzhou-yu-da-shi 我的问题: 我需要一张主播形象,穿着正装的,背景是纯色的,不要其它道具的,主播形象是现代中国美女,年龄20岁左右,全身照片,头发不要挡脸。 咒语大师生成的提示词: ![](https://img1.51tbox.com/static/2024-03-25/col/62702349ec1088407344d2ef7ee24ddb/4e7d8ab4e6d24cebaec5b25a715c958d.jpg)
2. 稍微修改上面的提示词复制到Midjourny,生成下面的图像 ![](https://img1.51tbox.com/static/2024-03-25/col/62702349ec1088407344d2ef7ee24ddb/509094fdf3eb45c8b1c1a67cce256037.jpg) 3. 选择第一张图片,然后利用前面文章提到的方法分别生成它的侧视图和背面图。这里我为了加快速度,这一步也可以略过,如果需要更准确的头部,建议还是慢慢生成一下。 ![](https://img1.51tbox.com/static/2024-03-25/col/62702349ec1088407344d2ef7ee24ddb/a80e73e4ed6f42fe95155292130fb77d.jpg) 4. 打开Blender,利用FaceBuilder插件生成真人头部。具体过程前面文章也有详细讲过,这里也不再细说。这一步重点是对贴图的二次优化,非常花时间。 ![](https://img1.51tbox.com/static/2024-03-25/col/62702349ec1088407344d2ef7ee24ddb/4ede5d05c2c54a2188b231aa37033892.jpg) ![](https://img1.51tbox.com/static/2024-03-25/col/62702349ec1088407344d2ef7ee24ddb/f0888003c9af4530b15031fc99d509ac.jpg) 5. 在Blender中,找一个之前的身体和发型部分合起来。 ![](https://img1.51tbox.com/static/2024-03-25/col/62702349ec1088407344d2ef7ee24ddb/4e52b785b7864ee88cdf6e14b70fc20a.jpg) 6. 利用插件FaceIt做脸部52个形态键,这一步最好分离眼睛、牙齿和嘴巴,嘴巴记得要从中间分开。 ![](https://img1.51tbox.com/static/2024-03-25/col/62702349ec1088407344d2ef7ee24ddb/37e007d4106f47ba838ad2d6df054878.jpg) 7. 开始做骨骼绑定。为了后续的动作,个人比较推荐用CC4做骨骼绑定,当然可以选择mixamo.com或者ARP插件,都非常好用的。绑定后还得继续导入Blender中,把CC4中的FBX动画跟人物匹配后导出为FBX格式。人物模型导出为GLB格式。 ![](https://img1.51tbox.com/static/2024-03-25/col/62702349ec1088407344d2ef7ee24ddb/e553773bd05f4dd69068ae13891f46cc.jpg) 8. 把模型和动画放入之前做好的代码中,网上下载了一个古城的图片,放入https://magnific.ai/中进行高清处理,作为整个场景的背景图。 ![](https://img1.51tbox.com/static/2024-03-25/col/62702349ec1088407344d2ef7ee24ddb/6e55ef40739c4e12afd2ad46834e484c.jpg) 加入数字人: ![](https://img1.51tbox.com/static/2024-03-25/col/62702349ec1088407344d2ef7ee24ddb/a575235b65b64a03945bb53b5bdc3820.jpg) ![](https://img1.51tbox.com/static/2024-03-25/col/62702349ec1088407344d2ef7ee24ddb/147a6722ee2a44c9affe98d0ed449a93.jpg) 9. 加入语音交互,接入大模型正常聊天。所有图片、人物动作都有AI生成或修改。 ![](https://img1.51tbox.com/static/2024-03-25/col/62702349ec1088407344d2ef7ee24ddb/7d66596646f54fccaf9fd906138dee14.jpg)
这样就完成了整个3D数字人的克隆和交互。整个过程只花了一天的时间。这样就完成了年前的计划之一。 其中很多步骤我这里简单略过,等有时间了说不定会出教程。 目前代码全面支持VUE3+Threejs 和React+ Threejs+ Drei两个版本,已经完全满足数字人克隆、IP形象定制、自定义知识库、声音克隆、实时语音聊天等常用AI功能。
![](https://img1.51tbox.com/static/2024-03-25/col/62702349ec1088407344d2ef7ee24ddb/96af5a4e33ff41ed9757580c75e5f639.jpg)
赞(5)
未经允许不得转载:工具盒子 » 一天时间完成3D数字人的克隆和交互