苹果的生成式AI会理解、搜寻装置内所有App的内容与资讯,再透过机器学习、语义索引、情境分析等算法以及系统内的本机LLM模型,生成适合特定对象、特定情境的内容。
苹果生成式AI(AppleIntelligence)可以怎么用?
苹果在2024WWDC发表会上花了将近40分钟介绍AppleIntelligence,并且实际展示了一些苹果生成式AI的用法。
写作工具WritingTools
修改语气
当你使用WritingTools的时候,可以透过预设的「友善」、「专业」以及「简单明了」这三种选项,让AppleIntelligence用不同的语气来重新改写原本的内容。
例如写给老板的信就可以用「简单明了的」口气,因为老板可能不想看太冗长的内容;写给之前在旅游时认识的国外朋友就可以用「友善的」口气改写,维持彼此的友谊。
校正语法与用字
AppleIntelligence还可以帮助修改用字、语法结构上的错误,透过「Proofread」功能,AI就会告诉你哪些用字需要调整,还会让你知道原因以及正确的用法。这个在写一些不能犯错的专业内容、职场商用文件的时候会很实用。
生成重点摘要
例如选择了「KeyPoints」功能,就可以把选取的范围用「重点」的方式改写并且并呈现预览,如果觉得OK就可以直接取代原本的内容,这样对方看起来也不会这么冗长。
提供回覆建议
图像处理工具
AppleIntelligence的图像处理工具让你可以创建和编辑图片,包括Genmoji、ImagePlayground和ImageWand这三种功能。
Gemoji表情符号
ImagePlayground影像游乐场
在包含Keynotes、无边记、讯息…等多个App中,可以使用ImagePlayground功能透过文字生成图片。在一堆系列选项中,选择一个你要的主题,选好以后就可以看到预览的效果,并提供「动画」、「素描」或「插图」这三种风格可以选择。甚至你突然有自己的灵感了也可以加指令进去,AppleIntelligence就会依照这些指令生成有趣的图片。
ImageWand影像魔杖
如果你喜欢画速写、素描,或是你喜欢画但觉得画得不好看,ImageWand可以都将你的粗略草图转换成精美的图片。使用ApplePencil圈出你的草图,ImageWand会自动分析并依照你的原图创建一个更精致的图像。
理解文字的重要程度
依据重要程度分类内容
AppleIntelligence透过机器学习与演算法功能,可以判断你接收到的哪些通知、信件是重要的,然后依照重要程度、内容类别来自动分类,让你可以自行选择要先看哪些内容。
邮件摘要预览
而且信件的预览功能中,也不仅仅是提供前几行的文字,而是透过AI整理出整封信件的重点并显示在预览上。
进化版Siri+AppleIntelligence
AppleIntelligence中,Siri扮演了相当重要的角色,而且也换上了新的风貌,可以做的事情变得超多。
全新改版的Siri与介面
利用侧边按键呼叫Siri后,看到的不再是一个圆圈的符号,而是直接变成渐层外框围绕在iPhone萤幕周围,接收指令时外框会有扰动的效果。
自然语言理解能力
Siri现在能理解更自然的语言交流,即使你说话不连贯,Siri也能理解。例如,你可以问「Siri,明天早上在MuirBeach的天气怎样?」,即使你发现你说错了要改口说「我刚刚是说MuirWoods」,Siri也能理解并回答。
搜寻各App内的资讯并整合
现在你可以问Siri任何更私人的问题,例如你问「Siri,我妈妈的飞机什么时候会到?」,这时Siri就会找到你和妈妈的邮件中有提到这个部分,并显示给你看。
然后也可以顺便请Siri告诉你接机后的晚餐计画,Siri就会从你们过去的对话中找到你安排的晚餐行程,你甚至不用设定行事历Siri就可以找得到这个行程。
或是你也可以请Siri帮你找出朋友之前向你推荐的书单、之前拍起来的证件照,这些Siri都可以在各种不同的App之间找出来,甚至你不知道他在哪个App里面都没有关系,反正Siri会去找。
直接解读萤幕上的内容
简单来说就是Siri可以看得动你现在画面长怎样,例如有人传了一个地址给你,你可以直接跟Siri说,把这个地址夹到这个人的联络资料中,而你都不用跟他说地址是哪个,他就可以找到地址,然后将图像转成文字加入到对方的联络资料里。
操作App内的功能
透过增强版的Siri搭配AppleIntelligence功能,就可以直接让Siri执行App内的功能,例如原本我要在照片App内寻找穿着粉红色衣服的朋友,我可以透过搜寻搭配「粉红色」这个关键字来达成,现在可以直接呼叫Siri「找出XXX穿着粉色衣服的照片」。
在照片里的AI功能
CleanUp修图功能
透过AppleIntelligence功能,只要点击一下照片中的背景物件,就可以把不想要出现的元素P掉,这样就不用上网求人帮忙P图了。
准确的照片与影片搜寻
前面有提到透过Siri就可以用自然语言的方式来搜寻照片,而且不只是Siri,透过照片App内的搜寻功能用文字的方式也可以搜寻,这个功能甚至是可以搜寻影片的片段;例如下图就是在照片App中搜寻在草地上单手侧翻的内容,其中就包含了影片的部分。
整合ChatGPT
AppleIntelligence这次也整合了ChatGPT提供部分功能,如果你提供的要求是包含在ChatGPT可以执行的范围内,那么AppleIntelligence就会询问你是否要用ChatGPT执行。而且目前使用的是最新的GPT-4o模型,可以提供快速又准确地回答。
生成文字与图片
除了文字内容以外,透过ChatGPT的Dall-E3模型,也可以直接生成图片,这和AppleIntelligence的ImageWand影像魔杖有点类似。
语音问问题
在Siri中询问问题时,有时候Siri甚至会建议你听听看ChatGPT的意见,就会问你要不用使用ChatGPT。至于AppleIntelligence和ChatGPT在回答上会不会有什么不同?Siri的判断标准是什么?这个之后如果有机会再帮大家做测试。
以上介绍的这些都只是目前已知透过AppleIntelligence可以完成的几个主要的用法,从这些用法当然还可以延伸更多的用途,例如用在iMessage上修饰要回覆的内容、在Keynotes上补齐缺少的图片、在彼此有争议的时候找出对话中有共识的部分、按照条件安排行程….等,就看大家如何发挥创意去使用AppleIntelligence。
AppleIntelligence支援机型
AppleIntelligence因为需要强大的NPU神经引擎支援,而且记忆体要求8GB以上,因为需要保留足够的记忆体给本机上的LLM模型使用,但又不能压缩到正常系统运作的需要,所以在机型的要求上比较严格,基本上只有M系列晶片的产品或是相等规格的产品可以使用。
iPhone15Pro
iPhone15ProMax
iPadProM系列晶片版
iPadAirM系列晶片版
iPadminiA17Pro晶片版
iMacM系列晶片版
MacminiM系列晶片版
MacBookAirM系列晶片版
MacBookProM系列晶片版
MacStudioM系列晶片版
MacProM系列晶片版
AppleIntelligence隐私保护有办法相信吗?
对于强调隐私保护的苹果苹果来说,AppleIntelligence绝大部分的运算都是在设备本机上的模型来执行,不需要连网,并且透过设备上的安全晶片做隐私保护的控管,所以不用担心资料会有外泄的疑虑,这也是为什么AppleIntelligence对硬体规格要求较高、必须要M系列晶片以上原因。
数据加密
使用者透过AppleIntelligence的请求资料在传送过程中是加密的,只有PCC节点能解密,这确保了资料在传输过程中的安全性。
硬体安全
无状态计算
高度透明性
PCC允许外部第三方独立的安全研究人员检查和验证系统的安全性机制(不是验证资料),确保它随时符合Apple公开的安全和隐私承诺。
尽管没有任何系统能够宣称100%完全无法被攻击,但Apple所采取的多层次安全措施和透明的操作方式,使PCC成为目前市场上最安全的云端AI计算系统之一。苹果希望透过这些措施和承诺,让使用者可以安心的相信PCC的安全性和隐私保护能力是非常高的。
而根据报导指出,AppleIntelligence在美国以外的国家要使用可能也会有Waitlist的机制,而且即便开放了,初期的执行效果可能会蛮慢的。