IT思维

公众号/机器之能

漫画和动画是表达故事与思想的重要方法，亦是日本文娱产业的重要支柱。通过对描绘技术反复的迭代进行设计优化，它使得艺术家们可迅速地把他们的思想呈现在纸上或屏幕上。创作的开端是艺术家们优先考虑如何尽快地将概念和想法表达与记录，因而得到是粗略的草稿。而后，由草稿开始描线、上色，乃至拍摄、配音，反复迭代地进行细化直到产生最后的漫画或动画作品。迭代求精的过程使得艺术家们有着巨额的工作量。而人工智能的出现，有助于解放制作人的双手，让制作人可以更加集中精力在创意上。

作者 | 熊利郎

一、日本ACG市场规模

根据2018年日本动画协会提供的数据显示，日本ACG产业将持续增长。与ACG相关的市场总额为21527亿日元（为上一年的108.1％），2017年也是历史上市场规模首次超过2万亿日元，连续第五年最高。最大的增长因素来自海外市场，该市场自2015年以来一直保持快速增长（比上年增长129.6％）。据估计，作品在中国主要互联网平台，亚马逊和Netflix的销售份额很大。由于动漫在全球范围内的普及，海外市场已显着增长，并且视频发行业务也持续增长。另一方面，由于缺乏DVD和商品的销售，日本国内市场连续第三年下跌。

二、动漫中的人工智能技术

深度学习：深度学习分析各种动画制作资料，根据模型和数据，自动生成用于过渡的动画或素描线条。该技术主要用于降低原画师或动画制作人用于重复工作的时间。深度学习技术的加入，可将动画制作的制作效率大大提升。

生成对抗网络（GANs）： GAN的核心是包含两个具有相互竞争目标的代理，这些目标通过相反的目标发挥作用。通过使AI学习大量的真实人脸照片和动漫人物面孔，可以创建全新的图像样本。不同类别的GAN能够实现将照片转化为二次元风格图片，或反向操作等等。

图像识别技术：通过图像识别，将图像/动画的边缘或素描线条正确从动漫原稿中识别。识别的内容用于后续的深加工。将草图反馈迭代地进行细化，直到产生最后的作品。如卷积模型可与光栅图像一起，将多个粗略的草图线条转化成一个干净的线条。

语音合成技术：自然语言处理技术的分支。语音合成技术将文本转化为声音。将文字信息转化为可听的声音信息，也即让虚拟人物像人一样开口说话。主要模拟人对自然语言的理解过程——文本规整、词的切分、语法分析和语义分析，使计算机对输入的文本能完全理解，并给出后两部分所需要的各种发音提示。

三、人工智能技术在二次元领域中的落地场景

四、人工智能技术在二次元创作的应用案例

漫画草稿自动描线：早稻田大学开发的漫画草稿自动描线技术，用AI将从最开始的草图，根据反馈迭代地进行细化直到产生最后的作品。使得创作者可以优先考虑尽快地将概念和想法表达出来，而非精美的细节。图像作为网络的输入，得到与输入图像相同尺寸的输出。网络结构十分简单，第一部分作为编码器，在空间上压缩图像。第二部分，处理并提取图像中的基本线条。最后一部分作为解码器，将小的或者更简单的特征转换成与输入同样分辨率的灰度图。这些全部用卷积来完成。

动画中间帧自动生成：Dwango 公司的技术团队，利用了 2016 年早稻田大学公开的草稿自动描线技术，在此基础上进行了一些专门为制作中间帧动画的技术适配，使用 Google 的TensorFlow 深度学习系统，与 GTX Titan X 进行实际运算，深度学习的数据来源是《偶像事变》的动画制作资料，由 AI 自动生成相当于原作 4 倍的中间帧动画。AI 的加入，将动画制作的工作效率大大提升。

漫画草稿自动上色：台湾东吴大学的计算机实验室融合了残差U-net和辅助分类器GAN（AC-GAN）卷积模型。生成器负责生成逼真的假图，欺骗判别器；而判别器负责识破假图。该技术可帮助漫画家在短时间内，针对同一个线稿生成大量各不相同的，合理的色彩构图让漫画家进行挑选。从而降低漫画家重复工作的时间，将更多的精力投入到漫画或情节的创意上。

虚拟角色香水自动推荐：日本的sceneryscent公司另辟蹊径，在创建香水时使用人工智能（AI）分析符合消费者品味形象的气味。通过Twitter、Facebook等SNS上的大数据进行分析，提取与人物形象接近的单词。并从最常用的单词开始按顺序匹配香味，将提取的香味与人物形象进行匹配，最终结合消费者的个性和属性，推荐虚拟角色的同款香水。虽然无法触摸到二次元的角色，但是会感觉到她们香水一样的味道。

二次元少女图像自动生成：Radius Five公司的技术团队提供的美少女插画创作服务，利用对抗生成网络自动生成美少女的插画。通过重复选择，让生成的插画逐渐接近用户理想的图像。GAN 使用一个生成器网络根据前提和噪声输入来生成图像，GAN 还有另一个网络会试图将生成的图像和真实图像区分开。通过同时训练这两个网络，最终会使得生成器生成的图像无法与对应前提下的真实图像区分开。这个生成器需要能理解并遵从用户给出的关于特定属性的要求，这被称为先验（prior）；而且它还需要足够的自由度来生成不同的详细的视觉特征，这是利用噪声（noise）建模。

五、人工智能在二次元创作领域的局限性

制作精度不足：在中间帧动画作画的精度方面，AI 还有很大的不足。如在视频中角色的手绘突然糊掉甚至消失，身体部位会发生异常的弯曲。在制作精度方面还有很大的改善空间。

结果不可控：由于当前的智能应用多为创新尝试，存在用户的参与的越多，自动生成结果越难看；或者调试多次结果无法匹配创作这最初的构想，影响实际应用效果。

生成可商用的效率低：目前大部分二次元制作AI都只停留在了从结果里精挑细选的程度，尚未达到能够作为商用服务的程度。

六、人工智能在二次元创作领域的发展趋势

作品高产化：无论是模型制作，声音合成，动画制作，漫画自动生成等，在制作精度方面还有很大的改善空间。提升产率是大规模商用化前必须改进的点。

流程自动化：用户制作人参与在初级制作的时间会逐渐减少。制作人将用AI辅助制作，而花费更多的时间在作品创意的构思上。

IP授权紧俏化：衍生品的授权开发以及人物形象、内容的授权使用。会随着自动生成，逐渐被用户改变。AI生成相似的角色，是否会被认作是侵权。同样的AI工具生成的内容存在争议性。