昨天的发布会刚开到一半，Apple 智能（Apple Intelligence）的词条就也曾席卷了热搜榜。

发布会上，苹果官宣牵手 OpenAI，GPT-4o 将被看重交融到 Apple 智能系统。

尽管苹果高管 Craig Fedrighi 对外在示，OpenAI 只是只是入选者之一，但这场看似珠联玉映的配合却如故躲不外外界的「挑刺儿」和「吃瓜」。

就连马斯克齐来凑干扰，先是给苹果的狡饰保护打了个差评，接着放狠话说要禁用苹果斥地，不外，剧情总有回转，据 CNBC 报说念，马斯克也曾除去了针对 OpenAI 偏激 CEO Sam Altman 的诉讼。

另外，还有防范的网友发现新版 Siri 似乎真能读取手机上的悉数驾驭门径，究竟真相如何，不妨翻阅一下苹果最新发布的博客，概况这内部遮蔽着谜底。

端云搀和，30 亿参数端侧模子有惊喜

Apple 智能走的是两条腿并行的路，即端侧模子和云霄大模子。

云霄大模子自毋庸提，广大而复杂，需要在苹果的芯片劳动器上启动，况兼还能够处理更专科、更复杂的任务。

而在端侧模子上，Apple 智能领有一个约莫 3B 参数的模子。在国内广博耽搁在 7B 的水平线眼前，苹果的 3B 参数显得有些低调。

一般来说，磋议到端侧斥地蓄意才略和存储空间有限，参数越多，模子的学习才略越强。尽管苹果这个端侧模子只好 3B 参数，但亦然「四两拨千斤」的标杆之作。

在夙昔的一整年， 雷同这种大有窒碍「Scaling Laws」的案例咱们可没罕有。

比如微软最新的 Phi-3-mini 模子，只用 3.8B 参数就敢与 7B 老大叫板。又或者，跑在 Google Pixel 8 Pro 上的 Gemini Nano 隔离只好 1.8B（Nano-1）和 3.25B （Nano-2）。

比起纸面参数上的较量，苹果主打一个用户的体验才是王说念。

博客裸露，苹果禁受了好多着实天下中的例子来测试模子的施行效力，从分类、问答、数学推理、到绽开式问答、安全性、转头和写稿，可谓是应有尽有。

而且，就算是和 Phi-3-mini、Gemma-7B、Mistral-7B 等模子同台竞技，在东说念主类「评委」的投票下，苹果的端侧模子也齐是众望所谓的杰出人物。

苹果对 AI 的追求，不单是是好用，更是安全。

比如在测试处理无益内容、明锐话题和事实准确性的才略上，苹果基础模子也齐是下足了功夫，违纪率远低于绝大大批模子。

动作一家动作坐拥向上 22 亿活跃斥地的巨头，苹果在违纪率上的选择似乎只好低和更低。这其实也与苹果一贯的安全措施相吻合。

它必须了解你，并基于你的个东说念主配景，比如你的正常生计、你的东说念主际干系、你的相通等等，悉数这一切齐超出了东说念主工智能的畛域。这是个东说念主智能，亦然苹果公司的下一个要紧举措。

库克的这番话天然理论上处处不谈狡饰，但字里行间全是狡饰的雷点。

假如 AI 成了咱们的「第二大脑」，狡饰保护就不不错也不成是陈设。苹果给出的决策是，Apple 智能是要深深扎根在 iPhone、iPad 和 Mac 里，这绝非功能或者劳动，而是要成为系统的一部分。

但也恰是因为如斯，马斯克宣称如果苹果对 ChatGPT 是系统级别的集成，他将阻难职工将 iPhone 带入特斯拉。

不外，概况也毋庸过于牵记这个问题，Apple 智能背后的模子主要分红三层。

土产货模子：主如果经过微调的 3B 小模子，专用于摘录、润色等任务，经过适配器的加合手后，才略不弱

独有云蓄意：土产货模子知足不了条目的，会传到云霄运算。苹果确保端到端加密，保险用户数据的安全和狡饰

第三方 LLM：用于泛用的学问问答聊天，如 Siri 等驾驭接入了 GPT-4o 等外部模子

也便是说，苹果实质上如故将 OpenAI 的 ChatGPT 模子视为一个插件，也可能跟其他模子配合。如果苹果自研模子饱和强，苹果天然不错统统淘汰第三方 LLM。

另外，博客也提到，Apple 智能系统还包括其他一些模子，比如不错匡助门径员在 Xcode 中编写代码的模子，以及匡助用户在发短信时能够更直不雅、真谛地抒发我方思法的扩散模子。

Apple 智能是如何真金不怕火成的

如果你思在电脑上制作视频，那你需要装配一些稀奇的驾驭门径。在 AI 模子的天下里，苹果模子背后用到的「适配器」亦然相似的理由理由。

浅陋来说，适配器即一些模子权重的小蚁集，格外于一个袖珍的插件，让模子能够快速稳健不同的任务。

举例，模子处理邮件和见知的转头，看起来差未几，但施行上有许多轻捷的别离，是以苹果给模子加上了一个叫作念 LoRA 的适配器，让它能更好地完成这种任务。

苹果还越过挑选了 750 个不同的转头来测试施行效力，为止发现，用了适配器的模子确乎比别的模子作念得更好。

苹果的决窍在于，只治愈这些适配器，而不动基础模子的「出厂设立」。这么作念的平允是，模子保留了它原有的粗造学问，同期又能够通过适配器来学习一些特殊的技能。

更蹙迫的是，每个适配器占用的空间不大，哪怕模子有 30 亿参数的模子大脑，也不外占几十兆的「脑细胞」。

要思让模子学得好，数据的质地相等关键。

苹果在查考模子时选择了一种搀和政策，选择用东说念主工标注的数据和苹果我方生成的数据一说念查考。

至于在查考这些基础模子时，苹果用的是一些经过许可的特定数据，包括一些专诚挑选出来增强模子特定功能的数据，以及用汇注爬虫 AppleBot 从网上汇注的公开数据。

苹果还强调，在查考这些基础模子的历程中，苹果并莫得效到用户的私东说念主信息或者用户的任何交互数据，致使还越过小心性用过滤器去撤消那些在网上公开的个东说念主信息。

查考历程中，苹果斥地了两种新的时期技能来提高模子的效力：

具体来说，第一种样式是在查考时，苹果会让模子参考一些「安分」的主意，这些「安分」会匡助模子在遭逢不祥情的情况时作念出选择。

第二种时期叫作念基于东说念主类反应的强化学习（RLHF），它是用一种特殊的优化政策和留一算法来治愈模子，让模子能够更好地测度我方的输出是否准确。

通过这两种样式，模子在实行任务时的准确性有了很大的擢升，学得更快、更准确。而在惩处手机和云霄劳动器资源有限的问题上，苹果也施展了好几个新招数：

分组查询夺目光（grouped-query-attention）：优化模子处理翰墨的形貌

分享输入输出词汇表：端侧模子领有 49k token，云霄模子领有 100k token，且包含更多的言语和时期计划的词汇

低比特量化（low-bit palletization）：在松开手机电量和内存压力的同期，让模子启动得更快

搀和成就政策：禁受 2 位和 4 位成就的政策，即使在有限的空间里，也能保合手和莫得压缩的模子一样的准确性

Talaria 器具：匡助模子选择最稳健的「传输速率」

激活量化和镶嵌量化：让神经引擎上的键值缓存更生动更高效

跟着这些优化政策逐个落实，苹果的模子在 iPhone 15 Pro 上的施展足以令东说念主注释，每个 token 的处理时期仅需 0.6 毫秒，而且每秒能生成 30 个 token。

这还不算，苹果还「藏着」一些技巧不错让 token 的生成速率更快，不外苹果在博客中并未裸露太多。

施行上，Apple 智能的登场谈不上早，但也算不上太晚。

晚的是，在其他 Android 厂商早在 AI 手机赛说念上奔驰了一两年时，苹果似乎只是在一旁静静地不雅察，直到最近，才徐徐地迈出我方纪律。

但别忘了，苹果动作内行最初的末端耗尽场景制造商，它的每一个动作齐牵动着市集的脉搏。简言之，在 AI 的施行落地场景中，苹果才是不可或缺的那一个。

这就好比，将 AI 定名为 Apple Intelligence，标明上看是一个神秘的「谐音梗」，但从更深档次来看，当 Apple 智能融入苹果的生态系统，这自己便是一种实力和自信的象征。

天然，在此之前，岂论是厂商在 AI 赛说念上的博弈也好，如故无法遁入的狡饰问题也罢，我更感酷好的是，国行苹果的 AI 功能究竟会花落谁家？

博客原文：https://machinelearning.apple.com/research/introducing-apple-foundation-models