“感知技术·感触CG·感受艺术·感悟心灵”
中国很有影响力影视特效CG动画领域自媒体
本文转自公号：电影设计师
引言
前一段，EpicGame推出的MetaHuman再一次点燃了一波关于数字人的讨论。
▲EpicGame发布的MetaHuman工程示例
随着计算机图形技术、AI技术、实时渲染等应用的成熟，如今数字人或称为虚拟人已经无处不在。它们已经成为了当下及未来几年的主要趋势之一，特别是在虚拟偶像、虚拟制作栏目的推动下，数字人及其人机交互将得到更多的变革与重塑。
▲美国虚拟网红LilMiquela(右)
▲美国次世文化打造的虚拟人——翎Ling
▲国内虚拟网红——阿喜
在开始聊今天的话题之前，我们不妨先来说说目前数字人领域的研究背景。
▲虚幻引擎的数字人类项目示例
那个项目其实是迈克·西莫（MikeSeymour）的数字替身形象，迈克本人是数字人领域的长期研究专家和作家，他的工作履历包括：SonyPicturesImageworks（索尼图像工作室)、好莱坞制作公司SkydanceMedia、专注于机器人&人工智能的Brud公司以及目前被EpicGame收购的数字人技术开发商3Lateral。
▲迈克·西莫在TED上关于数字人的演讲
在2018年举行了一场TEDTalk，迈克设想了对话式互动数字人的技术核心及未来应用，它能解决人际交往社会中的老年人、残障人士或困难户的关怀与辅助问题。
“表情是情感的杰出传播者，并且情感的力量是十分强大的。我想通过给技术附上面孔来改善未来的世界。在这之前我们必须意识到表情的力量、影响力、情感力及其说服力。”————迈克·西摩
▲迈克·西莫及其数字人替身生成及表情捕捉的过程
在TED上，迈克还展示了利用摄影机扫描脸部、AI面部视觉捕捉、实时引擎来生成数字人的全过程，他认为数字人的应用领域非常广泛，包括：健康、教育、社交等，并有包括EpicGame、Pinscreen等公司致力于此。
这里提一下Pinscreen公司的CEO，人称“杀马特”教授的黎颢（HaoLi），他也是一位数字人领域顶尖的大咖。他曾在好莱坞知名制片人乔治·卢卡斯任影视特效技术制作专家，曾为《霍比特人：五军之战》、《速度与激情7》、《银翼杀手2049》等影片提供视觉特效技术支持。2014年夏加入南加州大学（USC）任计算机科学助理教授。
▲黎颢在世界经济论坛展示的PinScreen公司的AI换脸技术
此外，还有一家公司专注于数字人的面部捕捉技术解决方案，它就是DI4D。之前，他们发布了最新的可拓展的4D面部捕捉解决方案，结合DI4DPRO，通过头戴高清摄像头和新的机器学习技术，可以大规模提供高保真的实时面部动画。
▲图片为DI4D在GDC2019大会上的技术演示
以上公司的技术成果都在不断推高数字人的讨论和创业投资热度，但在喧嚣之下，你是否清楚下面这些容易混淆的概念？什么是数字人、虚拟助理（virtualassistants）、虚拟网红（virtualinfluencers）、AI换脸（deepfakes）、机器人以及它们的区别是什么？
▲当今炙手可热的虚拟网红：Imma、绊爱、LilMiquela
下面我们将从虚拟人、数字人、数字替身（digitaldoubles）三层面来聊聊它们的区别：
什么是数字人？
简而言之，数字人就是逼真的3D人体模型。如果你不熟悉CGI，则3D模型你可以理解为在游戏或电影中经常看到的数字木偶假人。更准确地说，数字人是一个复杂的3D人体模型，它利用最新开发的高端功能在外观（皮肤着色或毛发梳理上）和运动（准确的绑定和动画）方面产生逼真的效果。
▲ScottEaton的肖像，由3D人像大师IanSpriggs制作
从定义上看，数字人是趋近于真实的，它跟我们在很多资产商城里可以便宜买到的角色模型不同，它需要尽可能的逼真。比如可以通过使用先进的渲染功能（例如高级着色器或SSS次表面散射材质来实现。要实现数字人惊人逼真的效果，离不开那些3D艺术家和技术指导（TD）行业先驱。
是不是所有3D人体模型都是“数字人”呢？
▲电影《未来世界》中出现的三维人脸及物理特效
在2010年之前（尤其是在电影视效VFX之外的行业），无论是在设计还是其他行业层面来说，大多数3D人体模型都要求写实是不现实的。由于之前硬件限制，实时图形渲染必须使用低分辨率的资源，动画电影通常采用风格化的卡通形象。如果我们将这些都纳入进数字人的范畴，则它的涵义将仅限于“3D人形”的概念，而无法成为一种新的趋势和创新。
▲DigitalEmily由数字人联盟为Wikihuman项目创建
数字人是艺术化与结构化的3D模型
另一个重要的区别是，数字人是结构化的3D模型，其中不包括AI换脸或初始三维扫描的成果。对于不熟悉3D管线的人来说，“结构化”意味着其数据已经组织好，并且已经经历了使其“可以投入生产”的某些步骤。相反，因为用户无法完全控制3D对象，AI换脸或初步的三维扫描是非结构化的。
▲快速创建工业级数字人的MetaHumanCreator
数字人的制作需要经历一些列生产管线（ProductionPipeline），期间3D艺术家会负责它的重新拓扑、纹理化和绑定，以确保可以在制作中使用。非结构化扫描除了按原样显示外观外不能直接拿来制作，尽管4D捕获可能会改变这一事实（比如上文提到的DI4D的4D面捕方案）。
什么是虚拟人？
虚拟人，数字人，区别是什么？
上面这两个术语通常可以互换使用。它们都是非常新的趋势概念，尽管数字人类的概念想法早在1980年代的科幻小说里就得到了普及，包括虚拟演员、合成人、数字克隆等词汇。
▲1979年电影《异形》中的合成人
概括地说，如果数字人是逼真的3D模型，则虚拟人将接近于人类自身。“虚拟”一词毕竟意味着这个人几乎和你我一样真实。它考虑了所说的人的职业、个性和故事。数字人是复杂高端昂贵的3D资产，而虚拟人可以是助手、演员、网红，简而言之就是有工作的数字人。当然有人可能会辩称，并非所有虚拟人都是数字人，有些人可能是风格化的人物或卡通人物形象。
▲左：日本彩虹社虚拟主播白雪巴
▲虚拟主播Codemiko和她背后的美女“技术员"
数字人和虚拟人的重要划分来自于虚拟人从3D资产转化成“活生生”的人类的层面。数字人更偏向于资产，而虚拟人还要考虑它的应用场景。此外，虚拟人常常集合在某个软件中，通过某一某块业务的熟练或敏锐度来完成特定的服务目的。
▲魔珐科技推出的虚拟人AI助理
虚拟人可以是虚拟助手服务人员或成为一名虚拟网红。他们的目的可能是充当你的IT中台工程师；你的第一个HR联系人或成为你在Instagram上的冒险伙伴。但最重要的是，它们是需要集成的，无论是在软件中、在社交媒体上还是在某个故事中。考虑到高端3D人体模型的复杂程度，集成是一件非常棘手的事情。
虚拟人和人工智能
▲AmeliaIPSoft的虚拟助理
另一方面，在像Brud或Diigitals这样的社交媒体上运作的虚拟助理，更多是在讲故事和交流，并未直接使用人工智能技术。
▲Roman，SoulMachines的虚拟人
（请注意，公司将他称为数字人）
但是，即使是还没有人工智能需求的公司，将来也很有可能会使用它。人工智能是可扩展性的关键，而可扩展性可以将数字人趋势转变为蓬勃发展的行业。当然，还有很长的路要走，尤其是虚拟人的情感动作和反应。即使我们能够让虚拟人执行某些任务，他们仍然缺乏人类独特的情感表达能力。
数字替身
数字人或虚拟人通常具有自己的身份。相反，数字替身是真实人类的复制品，不只是名人。它不是要创建一个随机的Avatar木偶，也不是从头开始设计一个人，而是要尽可能忠实地还原公众人物的外观和表情。他们的背景和法律含义有所不同。
▲数字王国软件研发主管DougRoble
及他的数字替身“DigiDoug”
数字替身和数字群演的区别在于，它不是根据未知三维扫描对象且需要被修饰。它们的概念可能会混淆，因为许多已知角色背后的扫描对象都是不出名的普通人，他们有时甚至在不知不觉中出售了自己的肖像权。但是，我们不应该将这些情况视为数字替身，因为在此过程中原始“主人”的身份已被“清除”。
视觉特效和游戏中的数字替身
数字替身大部分出现在电影的视效部分中，通常他们的应用包括：面部替换，数字特技替身，生物类型变换或体征变换，例如电影《本杰明·巴顿奇事》中本杰明·巴顿的衰老特效和《爱尔兰人》的年轻版替身。
▲右图为在《本杰明·巴顿奇事》中老去的布拉德·皮特
特效公司MPC曾在《银翼杀手2049》中成功还原除了1984版本的女主瑞秋，当时的女演员肖恩·杨（SeanYoung）在拍摄第二部时已经50多岁了，特效团队扫描了她的头部模型，获得了准确的头骨，然后将建模人员根据当年瑞秋表演片段的参考，制作了一个真实的数字替身。
▲电影《银翼杀手2049》中
老版瑞秋（肖恩·杨饰）的数字替身
▲《赛博朋克2077》中的基努里维斯数字化形象
▲《死亡搁浅》中的诺曼·里德斯数字化形象
围绕数字替身的法律和道德问题
▲迪丽热巴及其虚拟形象“迪丽冷巴”
▲黄子韬的虚拟形象“韬斯曼”
说到法律的灰色地带，道德问题呢？数字替身在这方面引发了许多有趣的讨论。使演员复活并让其职业生涯永恒不是一件新鲜事，在电影《星球大战：盗贼1》中，彼得·库兴（PeterCushing）扮演塔金总督再一次出现在了观众面前。想想詹姆斯·迪恩（JamesDean，已故经典“美式帅哥”形象演员）经过数字替身复活后抢走了瑞安·高斯林（RyanGosling）的饭碗，也不是完全不可能。
▲彼得·库兴（PeterCushing）的数字替身
《星球大战：大盗一号》中的大莫夫·塔金
AI换脸（Deepfakes）
AI换脸=数字人吗？
▲前一段在抖音大火的“蚂蚁呀嘿”换脸特效
▲婴儿版特斯拉创始人ElonMusk，由TheFakening提供
数字人和AI换脸孰优孰劣？
完全操纵的数字人是对人的表情、微表情和解剖学上正确运动的完整模拟。它并不是对2D产生的最终结果进行假拟合，它是一个完整的模拟，它可以复制头骨、肌肉特定皮肤区域脂肪垫和解剖学上正确的关节。这种准确性是捕捉人类表现精细细节的关键。一方面，AI换脸只能执行经过训练后才能执行的操作，并且通常只能提供“足够接近”的结果，只是在病毒般视频传播的背景下令人印象深刻，但在电影中无法使用；另一方面，数字人几乎可以做任何事情，它可以翻白眼、假笑、大笑、诅咒你、受到恐吓而转身逃跑。
▲动画工作室Snappers演示了先进的面部绑定
总而言之，数字人是可用于生产的资产，是使用最先进技术的人偶，可用于几乎任何领域，而AI换脸是算法的结果，该算法只会输出一帧一帧经过训练的内容。此外，数字人可以利用基于物理的渲染和技术，例如虚幻引擎的实时毛发模拟。
当然，前面说的那些并不意味着AI换脸一无是处，相反，它的核心技术远比我们到目前用到的有潜力。
▲《星球大战》中用老版莱娅公主的脸替换到年轻女演员上
AI换脸的潜在影响及潜力是巨大的，尤其是当有一天其真实性可以跟3D模型相匹配时。我们甚至可以想象，有一天类似的技术将取代3D建模。毕竟，计算机图形学世界中最重要的是结果，而不是如何实现。
不断变化中的技术和概念
数字人技术无疑会吸引越来越多的热度和目光。这是一个不断创新的领域，但同时在过程中无法避免一些误区和理解混乱。定义一个创新领域中的新概念是具有挑战性的，甚至可能是徒劳的尝试，因为这一切都在高速发展和变化之中。
▲韩国女团aespa的四位真人成员
及她们各自的虚拟角色形象
▲R&B歌手Tinashe操纵自己的虚拟人
在Tiktok举办的虚拟演唱会
尽管如此，这项工作还是富有成果的，因为这些词汇本身并不像它们所代表的网络概念那么重要。这里唯一可以明确结论是，数字人并不是一个同质的大集合概念，在数字人领域内也会发展出截然不同的项目和挑战。
虚拟人类的历史仍在酝酿之中，很高兴我们能够一起见证它的发展。
VIRTUALS：《Digitalhumans,virtualhumans,digitaldoubles…what’sthedifference》