Apple Intelligence 為 iPhone、iPad 和 Mac 引入強(qiáng)大的生成式模型
供稿 / 2024-06-11 13:446084加利福尼亞州,庫比提諾 Apple 今日發(fā)布面向 iPhone、iPad 和 Mac 的個人智能化系統(tǒng) Apple Intelligence,基于個人場景發(fā)揮生成式模型的強(qiáng)大功用,結(jié)合用戶情況提供有助益且相關(guān)的智能化功能。Apple Intelligence 深度集成于 iOS 18、iPadOS 18 和 macOS Sequoia 中,充分運(yùn)用 Apple 芯片對語言和圖像的理解與創(chuàng)作能力,可做出多種跨 app 操作,同時結(jié)合個人場景,為用戶簡化和加快日常任務(wù)流程。通過 Private Cloud Compute,Apple 為 AI 的隱私功能樹立了全新標(biāo)準(zhǔn),并能在設(shè)備端進(jìn)程和搭載 Apple 芯片的更大型、基于服務(wù)器的模型之間靈活配置和擴(kuò)充計(jì)算資源。
“我們十分激動地向大家展示 Apple 創(chuàng)新的全新篇章。Apple Intelligence 將會徹底改變用戶使用我們產(chǎn)品的方式,以及我們的產(chǎn)品如何在用戶手中發(fā)揮功用。”Apple 首席執(zhí)行官 Tim Cook 表示,“我們使用獨(dú)特的方式將生成式 AI 與個人使用場景相結(jié)合,實(shí)現(xiàn)真正有助益的智能化功能。 而且它能以完全私密安全的方式調(diào)用此類信息,協(xié)助用戶完成最重要的任務(wù)。這就是 Apple 所開發(fā)出的獨(dú)一無二的 AI,我們迫不及待地想讓用戶體會它的強(qiáng)大之處。”
理解和創(chuàng)造語言的全新能力
Apple Intelligence 為用戶解鎖提高寫作和溝通的新方式。iOS 18、iPadOS 18 和 macOS Sequoia 內(nèi)置可以全系統(tǒng)調(diào)用的新工具 Writing Tools,讓用戶能在幾乎任何場景下對文本進(jìn)行改寫、校對和摘要,包括郵件、備忘錄、Pages 文稿和各類第三方 app。
無論是整理課堂筆記,檢查博客文章是否通順,亦或確保電子郵件行文得體,Writing Tools 能夠幫助用戶提升對于文字表達(dá)的信心。Apple Intelligence 的改寫工具可以讓用戶選擇不同的版本,根據(jù)受眾和文稿訴求調(diào)整文風(fēng)。無論是對求職信進(jìn)行潤色,還是為派對請柬添加幾分幽默和創(chuàng)意,改寫功能總能輔助用戶寫出最得體的文字。Proofread 工具能為用戶檢查語法、措辭和語句結(jié)構(gòu),還能同時給出修改建議,以及對修改建議的說明,方便用戶查看或快速采納。Summarize 工具可在用戶選中文本后,以易于理解的段落、要點(diǎn)羅列、表格或列表的形式對其進(jìn)行歸納總結(jié)。
可以全系統(tǒng)調(diào)用的新工具 Writing Tools,讓用戶能在幾乎任何場景對文本進(jìn)行改寫、校對和摘要。
最新的郵件 app 新增格外便利的電子郵件置頂功能。Priority Messages 功能會在收件箱的最上方單獨(dú)劃出一個區(qū)域,顯示最緊急的電子郵件,例如僅限當(dāng)日有效的晚餐邀請或登機(jī)牌。此外,用戶在收件箱的界面上所能看到的,不再只是每封郵件第一行文字的預(yù)覽,而是郵件全文的摘要,完全無需打開郵件。對于已回復(fù)多次的郵件,用戶也只需輕點(diǎn)一下便可查看具體內(nèi)容。Smart Reply 功能可為用戶生成快速答復(fù)文本建議,還能識別出郵件中提出的所有問題,確保用戶全部給予答復(fù)。
郵件 app 的 Priority Messages 功能會在收件箱的最上方單獨(dú)劃出一個區(qū)域,顯示最緊急的電子郵件。
對語言的深層次理解能力同樣被應(yīng)用在通知功能中。Priority Notifications 會出現(xiàn)在分組通知的最上方,向用戶提示最為重要的事項(xiàng),還有內(nèi)容摘要幫助用戶快速瀏覽大量或已分組的通知,直接在鎖定屏幕上顯示詳細(xì)信息,例如一些格外活躍的群組聊天。而為了幫助用戶保持對當(dāng)前任務(wù)的專注,全新專注模式“Reduce Interruptions”僅會顯示可能需要即刻被看到的通知,例如通知提前接孩子的短信等。
Priority Notifications 會向用戶提示最為重要的事項(xiàng),還有內(nèi)容摘要幫助用戶快速瀏覽大量或已分組的通知,直接在鎖定屏幕上顯示詳細(xì)信息。
最新的備忘錄 app 和電話 app 可讓用戶錄制音頻,將音頻轉(zhuǎn)寫成文本,以及生成內(nèi)容摘要。在通話期間開啟錄制功能時,通話雙方均會自動收到提示。通話結(jié)束后,Apple Intelligence 會生成一份內(nèi)容摘要,幫助用戶回顧通話要點(diǎn)。
最新的備忘錄 app 和電話 app 可讓用戶錄制音頻,還可將音頻轉(zhuǎn)寫成文本,為音頻生成內(nèi)容摘要。
Image Playground 為交流和自我表達(dá)增添樂趣
Apple Intelligence 為用戶提供樂趣無窮的圖像創(chuàng)作功能,幫助用戶用全新方式進(jìn)行交流和表達(dá)自我。借助于 Image Playground,用戶可在數(shù)秒間創(chuàng)作出有趣的圖像,且有動畫、插畫、手繪三種樣式可以選擇。Image Playground 使用簡單,并且直接內(nèi)置在信息等多款 app 中。它也可作為一款單獨(dú)的 app 進(jìn)行安裝和使用,非常適合試驗(yàn)不同的創(chuàng)意和風(fēng)格。所有圖像均在設(shè)備端創(chuàng)建生成,讓用戶可以不受圖像數(shù)量限制,盡情嘗試。
Image Playground 使用簡單,并且直接內(nèi)置在信息等多款 app 中,可讓用戶在幾秒內(nèi)創(chuàng)作出有趣的圖像。
使用 Image Playground 時,用戶可根據(jù)不同的分類從大量的創(chuàng)意中進(jìn)行選擇,例如題材、扮裝、配飾、地點(diǎn)等,也可自行輸入對圖像的自定義描述,從照片圖庫中選取任意人物添加在圖像內(nèi),還可挑選喜愛的樣式。
暫停播放視頻 使用 Image Playground 創(chuàng)作
使用 Image Playground 時,用戶可根據(jù)不同的分類從大量的創(chuàng)意中進(jìn)行選擇,例如題材、扮裝、配飾、地點(diǎn)等。
在信息 app 中使用 Image Playground,可讓用戶快速創(chuàng)作出趣味圖像發(fā)送給朋友,甚至還會看到基于當(dāng)前對話生成的個性化創(chuàng)意推薦。例如用戶正在群組聊天中討論有關(guān)徒步的話題,此時便會看到與自己朋友、目的地、活動相關(guān)的創(chuàng)意推薦,讓用戶能夠用更短時間創(chuàng)作出更應(yīng)景的圖像。
用戶可在信息 app 中使用 Image Playground 快速創(chuàng)作出趣味圖像發(fā)送給朋友,還能看到基于當(dāng)前對話生成的個性化創(chuàng)意推薦。
而在備忘錄 app 中,用戶則可通過 Apple Pencil 工具盤中新增的 Image Wand 工具調(diào)用 Image Playground,為筆記添加更多視覺表達(dá)上的趣味性。手繪的草圖可以轉(zhuǎn)化成精美的圖像,用戶還可選中其中的空白區(qū)域,利用基于周圍元素生成的場景信息生成新圖像。此外,諸如 Keynote 講演、無邊記、Pages 文稿等 app,以及各類已集成全新 Image Playground API 的第三方 app,皆可調(diào)用 Image Playground 的功能。
暫停播放視頻 備忘錄 app 中的 Image Wand 工具
利用 Apple Pencil 工具盤中的 Image Wand 工具,用戶可選中圖像中的空白區(qū)域,利用基于周圍元素生成的場景信息生成新圖像。
創(chuàng)建應(yīng)景的 Genmoji
表情符號全新進(jìn)化,用戶現(xiàn)可創(chuàng)建原創(chuàng) Genmoji 來表達(dá)自我。 只需輸入描述文本,便可生成相應(yīng)的 Genmoji,連同若干附加選項(xiàng)。甚至還可直接使用親朋好友的照片生成 Genmoji。同表情符號一樣,Genmoji 可直接用在任意消息文本內(nèi),也可作為貼紙或回復(fù)使用點(diǎn)回功能發(fā)送。
只需輸入描述文本,便可生成相應(yīng)的 Genmoji,連同若干附加選項(xiàng)。
照片新功能讓用戶更得心應(yīng)手
在 Apple Intelligence 的輔助下,查找照片和視頻變得更加便捷。用戶可直接使用日常語言查找特定的照片,例如“Maya 穿著一件扎染襯衫在玩滑板”,或者“Katie 臉上貼著貼紙”。能在視頻片段中查找特定情景,也讓現(xiàn)在的查找視頻功能變得格外好用,用戶將可以直接跳轉(zhuǎn)至視頻中的相關(guān)片段處。除此之外,新增的 Clean Up 工具還能夠識別并刪除照片背景中無關(guān)緊要的物體,但不會隨意影響主體。
暫停播放視頻 照片 Clean Up 工具
照片 app 中新增的 Clean Up 工具能夠識別并刪除照片背景中無關(guān)緊要的物體,但不會隨意影響主體。
利用回憶功能,用戶只需輸入一段描述文本,便可快捷地創(chuàng)作出自己想要看到的故事。Apple Intelligence 將運(yùn)用對語言和圖像的理解,根據(jù)描述文本挑選出最適合的照片和視頻,依據(jù)識別出的照片題材,設(shè)計(jì)出一段分為不同章節(jié)的劇情,然后將這些素材整理成一段敘事結(jié)構(gòu)完整的影片。用戶甚至還能從 Apple Music 曲庫中獲得適合這段回憶的配曲推薦。而在使用以上各種 Apple Intelligence 功能時,用戶的照片和視頻將全程以私人文件的形式保存在設(shè)備端,不會共享給 Apple 或任何第三方。
使用回憶功能時,Apple Intelligence 會根據(jù)用戶提供的描述文本挑選出最適合的照片和視頻,設(shè)計(jì)劇情,然后將這些素材整理成一段敘事結(jié)構(gòu)完整的影片。
Siri 邁入新時代
在 Apple Intelligence 的助力下,Siri 與系統(tǒng)體驗(yàn)的結(jié)合更加渾然一體。更深層次的語言理解能力,讓 Siri 表現(xiàn)得更自然,更契合場景,更貼合用戶個人需求,還能簡化和加快日常任務(wù)流程。它能理解用戶的碎片化表述,還會為連續(xù)的請求沿用語境場景。用戶也可與 Siri 文字交流,在文本和語音之間任意切換,用最適合當(dāng)時需要的方式與 Siri 溝通。Siri 還采用了全新設(shè)計(jì),在已激活狀態(tài)下,會在顯示屏的外邊緣處亮起優(yōu)美的柔光。
用戶現(xiàn)在可通過文字與 Siri 會話,在文本和語音之間任意切換,用最適合當(dāng)時需要的方式與 Siri 溝通。
Siri 現(xiàn)可隨處隨地為用戶提供設(shè)備支持,回答數(shù)千個有關(guān)如何使用 iPhone、iPad 和 Mac 的問題。用戶可以向它了解各類知識,例如如何在郵件 app 中定時發(fā)送電子郵件,或者如何從淺色模式切換至深色模式。
Siri 現(xiàn)可隨處隨地為用戶提供設(shè)備支持,回答數(shù)千個有關(guān)如何使用 iPhone、iPad 和 Mac 的問題。
經(jīng)過一段時間的積累后,具備屏幕感知能力的 Siri 將能夠理解用戶在更多 app 中的內(nèi)容,并據(jù)其進(jìn)行相應(yīng)操作。例如,用戶在信息 app 中收到朋友發(fā)來的新地址時,只需說一句“把這個地址加到他的聯(lián)系人名片里”即可。
暫停播放視頻 Siri 向聯(lián)系人名片中添加地址
具備屏幕感知能力的 Siri 更容易根據(jù)屏幕上的信息做出相應(yīng)操作,例如將信息 app 中收到的地址添加至朋友的聯(lián)系人名片中。?
配合 Apple Intelligence,Siri 還將有能力在各類 Apple 及第三方 app 中完成數(shù)百種新操作。例如,用戶只需說出“從我的閱讀列表里調(diào)出那篇關(guān)于蟬的文章”,或者“把周六那天的燒烤照片發(fā)給 Malia”,Siri 便會執(zhí)行。
Siri 現(xiàn)可做出數(shù)百種跨 app 的新操作,包括為用戶找到朋友在信息 app 或郵件 app 里推薦的圖書。
Siri 將有能力實(shí)現(xiàn)完全基于用戶個人和設(shè)備端信息的智能化。例如,用戶只需說出“播放 Jamie 推薦的那條播客”,Siri 便會自行定位到相應(yīng)的博客單集進(jìn)行播放,完全不需要用戶自己回想這條播客是短信消息還是電子郵件里提到的。用戶也可以提問:“我媽媽的飛機(jī)幾點(diǎn)落地?”Siri 便會自行查詢航班詳情,然后與航班的實(shí)時執(zhí)飛軌跡交叉對比,給出抵達(dá)時間。
暫停播放視頻 基于設(shè)備端信息的 Siri 智能化
Siri 能夠做到基于用戶個人和設(shè)備端信息的智能化,例如查找后續(xù)航班的詳細(xì)信息,或者獲知晚餐的訂位情況。
AI 隱私功能的新標(biāo)準(zhǔn)
為了發(fā)揮實(shí)際功用,Apple Intelligence 在理解深層次個人場景的同時,也會做到對用戶隱私的保護(hù)。Apple Intelligence 的一條底層邏輯就是在設(shè)備端處理任務(wù),所用到的模型也有很多全程僅在設(shè)備端運(yùn)行。但在處理更加復(fù)雜、需求更多處理能力的請求時,Private Cloud Compute 會將 Apple 設(shè)備的隱私與安全性覆蓋至云端,進(jìn)一步拓展智能化能力。
Private Cloud Compute 能夠幫助 Apple Intelligence 靈活配置和擴(kuò)充計(jì)算資源,運(yùn)用容量更大型的基于服務(wù)器的模型處理更復(fù)雜的請求。這些模型在采用 Apple 芯片的服務(wù)器上運(yùn)行,為 Apple 確保數(shù)據(jù)永遠(yuǎn)不會被保留或泄露提供了基礎(chǔ)。
獨(dú)立專家均可自行檢測 Apple 芯片服務(wù)器上運(yùn)行的代碼,核驗(yàn)隱私保護(hù)情況,Private Cloud Compute 則會通過加密手段確保 iPhone、iPad 和 Mac 設(shè)備不會與軟件沒有公開日志可查的服務(wù)器交換信息。通過 Private Cloud Compute,Apple Intelligence 為 AI 的隱私功能樹立了全新標(biāo)準(zhǔn),向用戶提供可信任的智能化功能。
ChatGPT 整合至 Apple 全平臺
Apple 正在將 ChatGPT 整合至 iOS 18、iPadOS 18 和 macOS Sequoia 的操作體驗(yàn)中,讓用戶能夠直接使用 ChatGPT 的特殊功能,包括它對圖像和文檔的理解能力,為用戶省去在不同工具間來回切換的麻煩。
Siri 可根據(jù)需要直接調(diào)用 ChatGPT 的特殊功能。它會在先行征得用戶同意后,才將用戶的問題發(fā)送至 ChatGPT,連同任何文檔或照片,最后直接答復(fù)用戶。
在得到用戶允許后,Siri 可以借用 ChatGPT 的廣博知識,直接答復(fù)用戶的問題。

不僅如此,ChatGPT 也將被集成至 Apple 提供的可以全系統(tǒng)調(diào)用的 Writing Tools 工具內(nèi),協(xié)助用戶根據(jù)當(dāng)前主題生成內(nèi)容。使用 Compose 功能時,用戶還可運(yùn)用 ChatGPT 的圖像工具生成多種多樣的圖像,做到圖文并茂。
ChatGPT 也將被集成至 Apple 提供的可以全系統(tǒng)調(diào)用的 Writing Tools 工具內(nèi),協(xié)助用戶根據(jù)當(dāng)前主題生成內(nèi)容。
a
相應(yīng)的隱私保護(hù)措施也已為使用 ChatGPT 的用戶部署到位,用戶的 IP 地址會被隱藏,發(fā)出的請求也不會保存在 OpenAI 的記錄里。對于選擇綁定已有賬號的用戶,則會適用 ChatGPT 的數(shù)據(jù)使用政策。
ChatGPT 將于今年晚些時候登陸 iOS 18、iPadOS 18 和 macOS Sequoia,使用 GPT-4o 模型。用戶無需創(chuàng)建賬號便可免費(fèi)使用,ChatGPT 訂閱用戶則可在綁定已有賬號后直接使用付費(fèi)功能。
Apple Intelligence 為 iPhone、iPad 和 Mac 引入強(qiáng)大的生成式模型














滬公網(wǎng)安備 31010702005758號
發(fā)表評論注冊|登錄