但随着不断的实践,在与MJ和SD愉快的合作了几轮之后,Designer们逐渐开始拥抱AI带来的效率提升、丰富素材和海量模版的新时代。
AIGC给设计师们插上了翅膀,让创意不局限于技术和素材,可以实现更多“missionimpossible”。
(BTW:其中一些优秀AI作品的示意来自于网络,在图片下对出处进行了说明。)
近一年,以Midjourney和StableDiffusion(以下简称为MJ、SD)为代表的AIGC绘画迎来爆发式发展,掀起了一场生产力革命,目前我们设计部主要使用这两个平台进行创作。
那我们来看看MJ能够做什么吧~
产品类的摄影关键词的描述主要是:画面主题+修饰词+细节词+参数后缀。
对于电商设计师来说,他们现在的工作可用AI生成氛围图,选取合适的角度将自家产品P上去,告别了过去要拍摄以及建模渲染的一些繁琐流程。
生成的图片一般是四张,如果不满意进行刷新后又可得到新的四张图片。
MJ是比较擅长制作出高质量的各类型角色以及IP的,输入简单的咒语就能出很好的效果,可以当做建模或者插画的参考,甚至当做素材直接进行应用。
表情包的生成只需要在咒语中加入多个表情符号、姿势、情绪、背景色调……等信息,可以使用NiiiCuteStyle模式。
也可以做喜茶类型的图形插画,这类常用咒语比如图形插图,简单的线条,简笔画最小粗线标志,粗简笔画,等等。
以图生图我们常称为喂图。
SD对新手不太友好,对电脑的配置要求较高,而且SD生图的逻辑是需要运用到各种不同类型的模型,但是相比MJ来说,SD开源免费,控制性强。
什么是模型?
对于AI绘画而言,我们通过对算法程序进行训练,让机器来学习各种图片的信息特征,训练后沉淀下来的文件包,我们就称之为模型。
简单来说:模型就是AI经过训练、学习后得到的程序文件。
训练模型我们形象的称之为「炼丹」,而SD成图就需要应用到各种的模型。
有了模型之后,就可以生图了。
SD的核心功能是通过Controlnet插件控制生图,这里我上传了一张字体线稿设置了合适的参数和合适的关键词给到AI。
通过不同的模型LORA搭配关键词,可以得到不同的抽卡结果,相比较MJ来说,SD能够精准的控制图像。
同样反白稿也可以生成我们想要的图片。
同样也可以给到三维的白模进行图形生成。
当然,目前SD生成的图形还不能满足客户所有的需求,因此可以做为氛围参考,很多细节还需要进行后期处理。
线稿转3D也可以用SD搭配模型轻松实现。
在商业案例当中也可以进行人物模型的姿态固定,根据姿态去更换模特的服装和表情。
可以用MJ去生成基础形象,在SD中不断进行细节优化,抽卡调整细节。
通过上面的一些介绍,下图可以直观的看到MJ和SD的对比,以帮助设计师按需求进行AIGC软件的选择。
随着Gen-2等模型的出现,文生视频飞速发展。
目前主流的AI视频工具有:Runway、Pika、StableVideoDiffusion,随着Sora的加入,文生视频又给我们展开新的想象空间。
受制于AI文本到视频生成的物理和时空推理局限,目前Runway、Pika、StableVideoDiffusion生成的视频通常在4S左右,单个连贯性视频的最大长度为16秒,而Sora生成视频的长度为60s,实现了质的飞跃。
SORA发布的视频片段
将视频进行了拆解,得到关键词。
将同样的关键词给到别的文生视频软件得到的图像,大象走路时背后雪飘扬的性状、物理世界的真实性、大象身体运动地连贯性、画面复杂性都较Sora要弱。
1、在两个输入视频之间逐渐进行转场,从而在完全不同的主题和场景构成的视频之间创建无缝过渡。
2、变化功能:将无人机直接变形成蝴蝶,将之前必须用到AE软件解决的效果直接用AI可以完成。
在3月份Sora发布的最新视频可以看到:Sora能够生成具有多个角色、特定类型动作和主题背景的复杂视频,时长可达到60秒;可以在单个生成的视频中创建多个镜头,模拟复杂的摄像机运镜,同时准确地保持角色和视觉风格。最重要的是,它不仅理解用户要求的内容,还能自己理解这些事物在现实世界中的存在方式。