MotoricaAI-MoGen 动画合成
# MotoricaAI-MoGen 动画合成

MoGen 好像 的 【Listen, denoise, action! Audio-driven motion synthesis with diffusion models】听音乐跳舞的音频驱动运动合成 这篇论文的副产品。大概是把其中的动画合成单独拿出来做个混合器应用。
speech.kth.se/research/listen-denoise-action/ (opens new window)
基本上就是个类似于 MIxamo.com (opens new window) 动捕动画库,但是自由度比较高的,可以合成新动画,主要功能还是在移动动画混合和风格化动画合成上。
总体来说可控度不高,比如只能平面移动不跳跃,上坡或者台阶,对于项目或者动画师来说是个非常好的动画资源库,可以方便快捷的合成移动类动画资源,如 走跑,起步,急停,转身等等。
# 根运动合成
maya根运动1.gif

maya根运动.gif

根运动1.gif

根运动.gif

# 风格化合成 - 走平衡木


# 骨架
Downloads - Motorica Studio Documentation (opens new window)


# 上传3dsMax导出的根运动
max根运动1.gif

max根运动2.gif



MoGen - FBX 文件,是Y-up坐标系,而3dsMax是 Z-up坐标系,当 Y-up坐标系的文件导入 Z-up坐标系的软件MAX中时,会做一个坐标系转换。
例如 从MoGen上下载一个转身的动画资源,导入3dsMax和 Maya 之后根骨骼旋转数据的差异。
# 虚幻引擎中使用
以下连接是官方提供的 虚幻5 - MotoricaStudio 插件使用教程,同样需要账号登录,请自便。

官方频道-可以和开发组交互
https://discord.gg/KWRqNzcjYA (opens new window)
# Web端使用教程


# 上传下载

分别是上传, 下载 资源,下载当前预览的动画,可以导入3dsMax ,MAYA,Blender 中修改 根骨骼 【RootBone】的动画, 导出FBX上传,就可以根据 RootBone 的运动轨迹重新生成动画。
# 运动预设

| Straight | 面向前方正面移动 | 速度为负值时,后退倒着走 |
| Diagonal | 面向前方斜着运动 | angle角度参数 只有正负,大小无作用 |
| Strafe | 面向前方侧向运动 | |
| Turn | 原地转身 | |
| Cirele | 转圈运动,类似绕着圈跑 | |
| Run- Turn | 面向前方运动然后转身,但前进方向不变 | |
| Start - Turn | 站立时,然后转向运动, | |
| Stop - Turn | 运动停止时,转身 | |
| Constant Speed | 自定速度 |
# 运动速度参数

每种运动预设下有不同的 速度参数,但是也就是 起始速度,目标速度,角度 这3 样
| Speed | 正向移动速度,小值是走,大值是跑,正值往前,负值后退,0.7以下是走,以上就是跑 |
| Target Speed | 正向移动目标移动速度,当 Speed 和 TargetSpeed 同时出现时,Speed表示为起始速度 |
| Angle | 转身角度 |
| Turn Rate ,Rotation | 移动过程中的转向速度 |
| FWd | 正向移动速度 |
| SideWays | 侧向移动速度 |
| Rotation |

移动速度1.gif

移动速度2.gif
侧向速度.gif

转身.gif

移动转向.gif

移动转身.gif

站立转身移动.gif

停止转身.gif

# 角色类型运动风格

| Redlism 真实 | 男女,年龄分段 |
| Soldier 士兵 | 男女士兵,持长短枪戒备,开枪 |
| Creaturn 怪物 | 丧尸,狼人,这样的两足类人怪, |
| Personalities 性格 | |
| Expressions 身体状态 | |
| 100 STYLE 100 个风格样式 |

# Redlism 真实
主要是角色的性别和年龄段选项
| 男 | 女 |
| Male 普男 | Female 普女 |
| CoolGuy 酷男 | TeenGrill 少女 |
| High status male 年龄较大的男性 | High Status female 年龄较大的女性 |
男性站姿区别

女性站姿区别



# 100 种风格翻译表
| Aeroplane | 飞机 |
| Akimbo | Akimbo |
| Angry | 生气 |
| Arms above head | 手臂举过头顶 |
| Arms behind back | 手放在背后 |
| Arms by side | 手放在一边 |
| Arms folded | 双臂交叉 |
| Balance | 平衡 |
| Beat chest | 拍胸 |
| Bent forward | 向前弯曲 |
| Bent knees | 屈膝 |
| Big steps | 大步 |
| Bouncy left | 左边有弹性 |
| Bouncy right | 弹跳权 |
| Cat | 猫 |
| Chicken | 鸡 |
| Cross over | 交叉 |
| Crouched | 蹲 |
| Crowd avoidance | 人群回避 |
| Depressed | 沮丧 |
| Dinosaur | 恐龙 |
| Drag left leg | 拖动左腿 |
| Drag right leg | 拖动右腿 |
| Drunk | 喝醉 |
| Duck foot | 鸭脚 |
| Elated | 兴高采烈 |
| Fairy steps | 仙步 |
| Flapping | 拍打 |
| Flick legs | 轻弹腿 |
| Followed | 其次 |
| Graceful arms | 优雅的手臂 |
| Hands between legs | 手放在两腿之间 |
| Hands in pockets | 双手插在口袋里 |
| Heavyset | 魁梧 |
| High knees | 高膝 |
| In the dark | 在黑暗中 |
| Karate chop | 手刀 |
| Kick | 踢 |
| Lawn mower | 割草机 |
| Lean back | 往后靠 |
| Lean left | 向左倾斜 |
| Lean right | 向右倾斜 |
| Left hop | 左跳 |
| Legs apart | 双腿分开 |
| Limp left | 左拐 |
| Limp right | 右拐 |
| Look up | 查找 |
| Lunge | 弓步 |
| March | 三月 |
| Monk | 和尚 |
| Morris | 莫里斯 |
| Neutral | 中性 |
| Old | 老 |
| On heels | 穿着高跟鞋 |
| On phone left | 在电话左侧 |
| On phone right | 在打电话吗 |
| On toes bent forward | 脚尖向前弯 |
| On toes crouched | 踮起脚尖蹲着 |
| Pendulum hands | 摆手 |
| Penguin | 企鹅 |
| Pigeon toed | 鸽趾 |
| Proud | 自豪 |
| Punch | 冲头 |
| Quail | 鹌鹑 |
| Raised left arm | 左臂抬高 |
| Raised right arm | 右臂抬高 |
| Right hop | 右跳 |
| Roadrunner | Roadrunner |
| Robot | 机器人 |
| Rocket | 火箭 |
| Rushed | 冲 |
| Shielded left | 左屏蔽 |
| Shielded right | 屏蔽右 |
| Skip | Skip |
| Slide feet | 滑脚 |
| Spin anti clock | 自旋反时钟 |
| Spin clock | 自旋钟 |
| Star | 星星 |
| Start stop | 启停 |
| Stiff | 僵硬 |
| Strutting | 只骄傲 |
| Superman | 超人 |
| Swat | 斯瓦特 |
| Sweep | 扫描 |
| Swimming | 游泳 |
| Swing arms round | 把手臂摆过来 |
| Swing shoulders | 摆动肩膀 |
| Teapot | 茶壶 |
| Tiptoe | 脚尖 |
| Together step | 齐步走 |
| Two foot jump | 双脚跳 |
| Walking stick left | 手杖左侧 |
| Walking stick right | 拐杖右 |
| Waving | 挥舞 |
| Whirl arms | 旋臂 |
| Wide legs | 宽脚 |
| Wiggle hips | 扭动臀部 |
| Wild arms | 狂野历险 |
| Wild legs | 狂野的腿 |
| Classic Zombie 2 | 经典僵尸2 |
# 原始动画数据集
# 语音驱动跳舞的视频数据集合
原始视频,音频,有2M,10M,2种码率选择下载。
AIST Dance Video Database (AIST Dance DB) (ongaaccel.jp) (opens new window)

部分街舞视频对应的 BHV 数据集
MotoricaDanceDataset – OneDrive (sharepoint.com) (opens new window)

# 100种风格动画
BHV格式动画
100STYLE - Ian Mason (ianxmason.com) (opens new window)

# 语音手势数据集
大量(20 G左右)动捕的站立说话的数据,主要研究方式是手指动画。
许可证 |三位一体语音手势 (tcd.ie) (opens new window)

# ZEGGS Dataset
主要是站着说话的动捕数据。
GitHub - ubisoft/ubisoft-laforge-ZeroEGGS: All about ZeroEggs

