责任编辑首秀腾讯留学APP（原腾讯格斗游戏大学）
GDC是在亚洲地区范围内独享最低声望的格斗游戏合作开发人员全会，已举办35届，去年于3月21至25日在美国纽约举办。腾讯姚凯去年有12位大咖的9个决议案获奖GDC非冠名类演说，包括1项核心理念演说和8项主轴首脑全会演说，让他们一同驻足观看获奖的决议案和天神魅力！
一、技术简述
国际标准的情节动画电影设计一般来说圣索弗格斗游戏雕塑家构筑情节，接着天然资源制做组如前所述情节来制做动画电影。但是那个动画电影设计操作过程常常充斥着数次的沟通交流和修正，因为制做的动画电影不一定能与格斗游戏雕塑家的设想所相关联，那个操作过程会节约大批的时间和物力。
为了提升配角动画电影制做操作过程中的沟通交流和合作开发工作效率，他们提出了一个低天然资源倚赖的机能强大画外音动画电影自动更新辅助工具。那个辅助工具包涵5个应用程序，能根据格斗游戏电影剧本全屏聚合配音员和动画电影蓝本。格斗游戏雕塑家们能极为难地借助这些应用程序来内部结构蓝本，因此用作沟通交流和修正。那个辅助工具能有效地增加了天然资源的节约，以及方便快捷了情节动画电影合作开发操作过程中的沟通交流和修正。
现阶段计划的其中4个应用程序已全数网络连接Messiah和Montage的情节GUI中，而且每一应用程序也能原则上分拆，服务于适当的机能。
现阶段计划已被GDC2022的tool submit转交：
https://schedule.gdconf.com/session/tools-summit-an-easy-to-use-cutscenes-preview-tool-with-low-resources/883132
https://www.gdcvault.com/play/1027946/Tools-Summit-An-Easy-to
二、问题背景
情节动画电影设计常常需要充斥大批的天然资源准备，然而每一次的情节迭代都会牵动很多天然资源的改动。传统的情节动画电影设计，一般是圣索弗策划撰写一个完整的电影剧本，接着为每一配角和对白标记上相关联的情绪，确定好之后会分别由美术和音频的同学进行动画电影绘制和音频配音员，从而拼接起来完成一个完整的情节动画电影。然而大多数情况下，那个操作过程会需要数次的沟通交流和修正，甚至可能会因为电影剧本的问题需要推翻重来，因此带来了天然资源的节约。
传统情节动画电影制做流程
在一个完整情节动画电影设计中会涉及到一些重复迭代的部分，包括：剧本撰写、电影剧本情绪识别、配音员、嘴型动画电影、表情和动作、站位镜头等，现有的成熟的AI技术理论上能处理电影剧本情绪识别、配音员、嘴型动画电影、表情和动作的部分了，但是还需要针对实际项目中的一些问题进行适配，比如电影剧本数据领域、配音员情绪处理、不同格斗游戏的动画电影设计等。另外的电影剧本撰写和站位镜头相关技术仍在发展阶段。
总的来说，情节动画电影制做，在实际项目中会遇到以下问题：
情节动画电影辅助工具对于非专业人员入门极为困难，而且反复地修正情节会带来天然资源的节约；电影剧本相比于一般自然文本来讲更短而且上下文倚赖性更强，同一句话在不同的上下文情况下情绪会不一样，而且同一个人对不同的对象也会有不同的情绪，还有一些格斗游戏风格类型的文本风格适配问题；配音员常常嘴型动画电影一般来说是比较繁琐重复的工作，一般在初期的情节动画电影设计中不涉及，因此会缺少很多配角表现力；表情和动作同样也是配角表现力的体现，初期缺少了会影响情节动画电影蓝本的一些质量，从而没能更直观地体现出成品，可能会导致雕塑家们对于后续情节动画电影迭代的一些细节的把握不够精细。为了缓解上述问题，他们参考CG制做操作过程中的分镜概念，借助情节动画电影蓝本来介入情节动画电影制做操作过程，因此期望情节动画电影蓝本在制做操作过程中，能极为方便快捷地让格斗游戏雕塑家们自行修正至自己满意的程度，再去做进一步的沟通交流和制做，这样能很好的地避免时间和天然资源的浪费。
格斗游戏雕塑家可自行修正，方便快捷后续天然资源准备和沟通交流
另外，为了达到便捷机能强大，那个工作提出了一个情节动画电影自动化聚合AI辅助工具包，能全屏聚合情节蓝本，使得情节动画电影蓝本更贴近成品，提升情节动画电影设计操作过程中的合作开发和沟通交流工作效率。该辅助工具包集小说转电影剧本、电影剧本情绪识别、情绪语音合成、嘴型动画电影与表情动作四个应用程序匹配于一身，既能全屏聚合情节蓝本，又能原则上拎出每一应用程序服务于相关联场景。
情节动画电影自动化聚合AI辅助工具包能直观地展示出格斗游戏雕塑家前期的情节设计，让雕塑家自行修正电影剧本内容和效果，再使用产生的蓝本与负责天然资源的同学进行沟通交流，能有效地增加了天然资源的节约，以及方便快捷了情节动画电影合作开发操作过程中的沟通交流和修正。而且其中的嘴型动画电影能达到直接可用的程度，减轻了美术同学的工作。
三、技术实现
他们受CG制做的启发，CG制做一般来说会先让雕塑家制做蓝本，一般通过漫画、分镜、故事版等方式表现，接着再针对蓝本来准备天然资源，最终完成一个完整的CG。其中的蓝本起到了极为关键的提效作用，天然资源同事能极为清晰地明确整个CG的流程和细节。
换而言之，在情节动画电影制做操作过程中使用蓝本，也是能提升制做工作效率。因为情节动画电影一般来说都是使用格斗游戏中的配角天然资源来制做，那么他们希望情节动画电影的蓝本是能更直观而且更难去制做，以便格斗游戏雕塑家都能自行制做，因此他们提出了一个情节动画电影自动化聚合AI辅助工具包，主要包涵4个顺序的应用程序：小说转电影剧本、电影剧本情绪分析、情感可控语音合成、嘴型表情动画电影合成。每一个应用程序都是相辅相成，也能原则上拎出来成为一个应用程序，即插即用。
情节动画电影自动化聚合AI辅助工具包流程图
总的来说，他们的情节动画电影聚合计划包涵5个应用程序：小说续写、小说转电影剧本、电影剧本情绪分析、情感可控语音合成、嘴型表情动画电影合成。每一个应用程序都是能相辅相成，也能原则上拎出来成为一个小部件，即插即用。
计划的整体流程是：
先输入一段小说，或者一个片段的开头，小说续写模块能天马行空地去往下续写到无穷长。接着如前所述输入或者聚合的小说形式的文本，通过小说转电影剧本模块，转换成“配角：对白”这样的节点图。得到节点图后，通过电影剧本情绪识别模块，对每句对白提取出相关联的情绪。将配角、对白以及情绪输入到语音合成模块中，输出带有情绪的配音员合成文件。嘴型表情动画电影模型将配音员和对白进行自动对齐，接着合成出相关联的嘴型动画电影，同时也使用情绪结果来产生相关联的表情动画电影。下面是除了第一步之外的其他四步全屏聚合的例子，分别集成到了内部的Montage和Messiah情节GUI：
四、应用程序介绍
1. 小说续写
对输入的小说片段进行续写，下面是一个例子，能聚合丰富多样的续写结果。
• 例子1：
输入：几经修炼，叶凌天的虚灵神掌已经修炼得出神入化
1. 不但能够使得身体发光，更是在掌法上达到了另一个境界，能随意挥洒，威力也大幅度提升。<eos> 这一刻，他的手上灵纹闪耀，每一道灵纹都是由精粹的银色符文构筑而成，灵气逼人而充沛，似乎已经具备了生命，就像一个活物一般在他手中跳跃挣扎。<eos> 这是一套极为高深、玄奥，堪称逆天的武功秘法！<eos> 叶凌天的心神沉浸其中，他的身体内部似乎有了生命一般，每一根毛孔都开始吸取着天地间的灵气和精华，而且随着时间推移，他感觉自己好像与外界产生共鸣，就像一个小孩在呼吸一样，不知道是什么原因，他的感官变得敏锐了起来。<eos> 这一日，叶凌天再次来到了制符室，这里依旧是在石屋内，但是却多出了一个空旷的大厅。<eos> “师父，今天他们能进去吗？” <eos> 他看着面带笑容站在大厅内的师父，语气平静无比。<eos> “当然！你要记住，此刻可是修炼关键时刻，切忌贪功冒进，不能因为修炼就忽视了这一点。” <eos> 听闻此言，叶凌天顿觉浑身舒爽，脸上也浮现着激动的神色，不由大声说道：”弟子知晓了！” <eos> “嗯，知道了！” <eos> “师父，您现在是否已经掌握了‘如意通’之术了？” <eos> “…
2. 此刻他的肉身经脉已经彻底恢复了，能动用真气，不过这种状态却是需要消耗大批精力。虚灵神掌，乃是武者所必修，其实力更多的是在于肉身上，一旦肉身达到极限就会有一个飞跃性的增长，而且随着武者境界提升，肉身力量也会随之提升，这是因为每一次进阶都充斥着巨大的收益，而这一次却是精血出现了问题。<eos> 所以，这一次的提升是有限度的，不过他虚灵神掌却也是能进阶的了。<eos> “呼！” <eos> 叶凌天深呼一口气，就开始准备第二炉灵材熬制了。<eos> 这时候，天色已晚，他将手中的灵材投入到火堆里，随后就盘膝坐下，静等着炼制成功。<eos> 他的魂海中，此刻正在凝聚着一团银色符纸，它就是那种能够增长真气的银色符纸，只不过因为其上的符咒较多，所以并没有什么攻击力。<eos> 但是，在他修炼的期间，那些符纸都会自动飞向他的体内，被他吸收，转化成精纯的真气流入丹田，滋养经脉，同时，他还不断消耗那些符咒的力量，使得自身更强大一些。<eos> 如此过去了十日，叶凌天终于完成了最后一道工序，接下来便是第三炉灵材的煎制了，这一炉药材是用来炼制‘百灵丸…
3. 此时他体内的真气澎湃而又磅礴，就仿佛要爆发开来的样子，但是他的心境也在逐渐恢复着。<eos> “这次我终于练成了‘虚灵掌’了？” <eos> 叶凌天轻叹一声，他已经完全适应了虚灵神掌所具备的威能以及对其掌握程度的感悟，现在的掌法与功法相互配合，他的实战水准提升了好几个层次，这让他更加坚信自己的武道修为还有可能得以提升，不过他还是忍不住有些担心，毕竟这样一来，自己就没必要再继续去尝试如意掌了。<eos> 在这一刻，叶凌天很期待下次与那人交战，当初他甚至怀疑自己到底是否能够真正将‘虚灵掌’练到大成境界呢？<eos> 这一点，是那人无论如何也不会想到的。<eos> “我已经习惯这门功法了！” <eos> 叶凌天深吸口气，目光中闪烁着睿智的神采，喃喃开声，随后便开始准备炼制符纸和符墨了。<eos> 他的目标，就是那三种灵材。<eos> 他之所以会如此决绝，是因为那三种灵材，一旦出现，就会引起其他门派觊觎，届时恐怕就会引发各方势力的疯狂追杀，这对于他而言并非什么好事，反而是一个很大的隐患。<eos> 所以，在如今的形势下，他必须保持低调行事…
• 例子2：
输入：此时乔峰三处伤口血流如注，抱着阿朱的左手已无丝毫力气，一被长绳卷起，阿朱当即滚在地下。众人但见长绳彼端是个黑衣大汉，站在屋顶，身形魁梧，脸蒙黑布，只露出了两只眼睛。
1. 乔峰当即上前扶住阿朱，开口道：”阿朱！你没事吧？” <eos> “没事的。” <eos> 阿朱虚弱说了句话，就再度昏睡过去了，她身旁的乔峰则是满脸阴沉地看着黑衣大汉。<eos> 此时他的伤势比之方才还要重一分，但因为有长绳作为牵引，所以无需乔峰催动灵元，只是凭借强横的实力将之拖拽至地下，而后那个黑衣人带着阿朱离开了这处小屋子，继续在外面游荡着。<eos> “你们是什么人？” <eos> 乔峰目光冷峻的问道。<eos> 他现在心情极为糟糕。<eos> 他已经在此战斗了数时辰了，可是对方却始终没有显露身份，甚至连自己都不知道自己究竟遇到了何事，这使他很是郁闷，更令他感到愤怒的是对方居然还能如此镇定，不仅如此，还能够轻易的将他们二人重伤至此，这绝非…
2. 众人见状皆大吃一惊。<eos> 这黑衣大汉的修为竟然也是三重天之境，且不说他能够以一敌二，单是这修为实力就非同小可，此时他们的身旁还有个小姑娘在旁，她可是乔峰的女人。<eos> “阿朱！！！” <eos> 乔峰惊叫出声，双眼瞪得滚圆，满脸都是不相信的神色。<eos> 只见阿朱浑身浴血，躺在地上，脸色苍白如纸，气若游丝，看来已经受了不轻的伤势，这一刻她几乎是要晕厥过去的，他却又不能有所作为。<eos> “我没事，阿朱你先起来，他们还有话要说呢？” <eos> 乔峰将阿朱抱着放下，语气平稳地说道。<eos> 而这话语中的意思却是再明白不过了。<eos> 他现在已经知晓了对方的实力，这样的强者自然不会轻易放掉自己等人，但如果这黑衣大汉真想要杀他们，他必不能如他所愿，这样一…
3. 众人皆惊，心中不免有些骇然。<eos> 这黑衣大汉的实力之强可是超出了他们所有人想象的地步，即便是乔峰都没办法轻松应对此人的攻击了。<eos> “小子，你这是在干什么？！” <eos> 那黑衣大汉见状不禁冷声质问道。<eos> 乔峰闻言只是嘿然一笑：”你们还真当自己天下无敌了吗？！告诉你们，这里是我的家，而且还是你们这些土著的家。<eos> 现在阿朱已经是我的女人了，就是我死了，她也是我的女人。至于你们嘛，哼，我乔峰可不怕你们。” <eos> “放肆！” <eos> 黑衣大汉勃然大怒，”既然你要找上门来，那老夫就成全你！” <eos> 话落，他一掌拍出。<eos> 霎时间劲气如潮水般汹涌而出，直接就朝着乔峰拍去，看样子是打算先将对方镇压再说的。<eos> 这一掌势若惊雷，速度极快，就连屋顶都被掌风吹…
2. 小说转电影剧本
对小说格式的文本进行说话人和对白提取，转换成对白节点图，方便快捷后续的分析和处理。
• 输入
• 输出
3. 电影剧本情绪分析
对电影剧本中的每一句对白进行自动情绪分析。
情节类格斗游戏（RPG、AVG等）的格斗游戏电影剧本中，常常存在大批的对话文本。为了准确把握配角当下的情绪，作为格斗游戏中配角做表情或动作的基准，格斗游戏策划需要通读整个电影剧本后再给每句话打上情绪标签，比较费时费力。姚凯AI Lab研发了一套电影剧本情绪识别系统，能根据电影剧本中配角的对话自动识别当前配角情绪，提升格斗游戏合作开发工作效率。
现阶段支持normal（无情绪）、serious（严肃）、happiness（高兴）、sadness（悲伤）、fear（恐惧）、embarrassed（尴尬/害羞）、anger（愤怒）、surprise（惊讶）、unhappy（烦躁）、thinking（疑惑/思考)、kidding（捉弄/调皮）等11种情绪。
4. 跨语言跨说话人情绪可控语音合成
通过一定量的情绪语音及跨语言语料来实现跨语言跨说话人情绪可控的语音合成，通过情绪控制变量来丰富语音合成结果的表现力。
5. 嘴型表情动画电影
通过自动的语音-文本对齐技术，以及嘴型动画电影合成技术，还有情绪+表情生产技术，全屏聚合丰富的角色表现效果。
五、致谢
感谢Messiah和Montage的情节GUI的大力支持，也感谢天下3、梦幻西游、明日之后、荒野行动等格斗游戏的天然资源支持。
