WWDC 2026 Siri AI 应用操作:模型合作与执行层指南
解析 WWDC 2026 Siri AI 应用操作、Apple 与 Google Gemini 合作、App Intents 执行层及 Android 手机智能体工作流,说明模型理解如何转化为可验证的手机动作。
- WWDC 2026 展示的关键变化,是把个人上下文、屏幕感知和受支持应用动作连接起来;模型理解、目标选择、授权、执行和结果验证仍是不同环节。
- 截至 2026 年 9 月 10 日,iOS 27 免费更新和英文版 Siri AI 测试版计划于 9 月 14 日推出,另有五种语言计划于 10 月加入;设备、功能、语言和地区资格需要分别确认。
- Apple 与 Google 已正式确认模型合作:基于 Gemini 技术构建的 Apple Foundation Models 将支撑 Apple Intelligence,但 Siri、Apple 的模型部署和面向消费者的 Gemini 应用是不同层次。
- FoneClaw 通过可配置模型、当前屏幕或图片上下文和 100+ 项 Android 工具推进受支持任务;联系人创建需要字段核对、重复检查、联系人权限和当前审批配置。
WWDC 把 Siri AI 推向应用操作层
WWDC 2026 Siri AI 应用操作的核心,不只是生成更自然的回答,而是把上下文理解与受支持的应用动作连接起来。用户可以围绕屏幕内容、个人信息或当前对话提出请求,Siri 再通过系统和应用提供的能力查询对象、准备操作并产生可检查的结果。
这类流程至少包含六层:模型是否正确理解请求,目标应用是否提供所需动作,系统是否找到正确对象,权限与授权是否满足,动作是否真正执行,以及目标应用里是否留下正确结果。模型能力提升可以改善前几步,却不能代替应用动作和最终状态验证。
发布进度也已经比 WWDC 时更明确。截至 2026 年 9 月 10 日,Apple 9 月产品公告计划在 9 月 14 日提供 iOS 27 免费更新和英文版 Siri AI 测试版;法语、日语、韩语、葡萄牙语和西班牙语计划于 10 月加入。英文测试版目前仍是未来安排,并非已经全面开放。
具体能否使用,还要分别核对兼容硬件、系统、目标功能、语言和地区。已有合资格设备的用户不一定需要购买新机。需要查看详细时间表和资格判断时,可阅读iOS 27 Siri AI 上线时间与使用指南。
已公布能力与实际开放范围
Apple 关于 Apple Intelligence 日常体验的介绍展示了写作、图像、摘要和系统智能等能力。Siri AI 是其中面向助手交互的一部分,重点包括个人上下文、屏幕感知、更自然的连续对话和应用操作。
个人上下文可以帮助 Siri 理解用户所指的联系人、邮件、文件或行程;屏幕感知让用户围绕当前显示内容继续提问;应用动作负责把已经理解的信息交给支持的应用。Apple 的 Siri AI 官方公告把这些能力放在同一助手体验中,但每一项仍有自己的设备、软件和开放条件。
假设用户正在查看一张电子名片,并说“把这个人加入联系人”。屏幕感知或图像理解可以提取姓名、电话、邮箱、公司和职位等可见信息;联系人应用提供的动作决定哪些字段可以查询或保存;权限决定能否访问通讯录;用户则需要确认识别字段和目标操作。只有通讯录里出现准确记录,任务才真正结束。
同一句请求在不同设备或应用上可能停在不同阶段。模型可以准确读出名片内容,但联系人动作尚不可用;系统也可能找到两个同名联系人,需要用户选择。判断一项功能时,应检查自己设备上的实际入口和目标应用支持,而不是只根据演示中的完整流程推断本机能力。
Apple 与 Google 模型合作意味着什么
苹果谷歌 Gemini 合作已经得到双方正式确认。Google 与 Apple 关于模型合作的联合声明说明,Apple 下一代 Foundation Models 基于 Google 的 Gemini 模型与云技术构建,并将支撑未来的 Apple Intelligence 功能。
Apple 面向用户提供的仍是 Apple Intelligence 和 Siri 体验。面向消费者的 Gemini 应用、Apple Foundation Models、Siri 交互界面以及应用执行框架分别承担不同角色。官方合作说明了基础模型技术来源,却不能据此推断每一次 Siri 请求都会发送给 Google,也不能把 Siri 直接等同于 Gemini 应用。
Apple 对新一代 Foundation Models 的技术介绍进一步说明了 Apple 模型层的发展。模型层负责理解语言、图片和上下文,并为任务生成合理步骤;模型最终如何部署、哪些数据进入哪条处理路径、具体功能在哪些设备上运行,还要依据 Apple 对该功能的正式说明。
对普通用户来说,供应商名称不是判断手机任务是否完成的最后标准。真正需要检查的是:模型有没有正确理解目标,系统有没有找到对应应用动作,是否选择了正确对象,授权是否清楚,以及结果是否已经写入目标应用。模型合作提升的是能力基础,完整体验还需要系统与应用执行层共同完成。
App Intents 如何把请求变成动作
App Intents 为应用提供了一种结构化方式,用来描述系统能够识别的对象和可以调用的动作。按照Apple App Intents 开发文档,应用可以向 Siri、快捷指令和其他系统体验提供查询、创建、更新等能力,而不是让助手猜测任意界面元素。
例如,联系人应用需要提供“联系人”这种对象以及相应查询或创建动作。模型从名片中读到姓名、手机号、邮箱、公司和职位后,系统还要按联系人动作支持的字段处理信息,先检查是否已有匹配记录,再决定创建新联系人还是让用户处理重复项。智能回答本身不会自动产生联系人。
Apple 关于智能应用体验的开发者课程说明了模型能力如何与应用框架结合。应用公开了哪些动作、需要什么输入、是否要求确认以及如何返回结果,会直接影响 Siri 能走多远。没有对应动作时,助手仍可以整理信息或打开应用,由用户手动完成最后一步。
把应用变成可被系统调用的结构,需要同时处理动作范围、对象身份、权限和结果。联系人重名、字段缺失或目标不明确时,系统应先让用户选择。想进一步理解这些应用结构对普通用户意味着什么,可阅读App Intents、可被机器调用的应用和手机 AI Agent:普通用户该看什么。
Siri AI 与 Android 手机智能体执行路径
Siri AI 和 Android 手机智能体都需要把自然语言转成受支持动作,但两条路径依赖不同的平台条件。Siri 使用 Apple 的系统上下文、应用框架和权限体系;FoneClaw 在 Android 上连接可配置模型、当前屏幕或图片上下文,以及已启用的手机工具。
| 任务层 | Siri AI 路径 | FoneClaw 路径 |
|---|---|---|
| 理解请求 | 由 Apple Intelligence 与 Siri 处理对话、屏幕和个人上下文 | 由用户配置的模型处理文字、语音、图片或当前屏幕内容 |
| 获得动作 | 依赖系统能力和应用提供的 App Intents 等动作 | 依赖当前提供并启用的 100+ 项 Android 工具 |
| 选择目标 | 识别应用对象,并在有歧义时要求选择 | 查询手机中的实际记录,让用户核对候选对象 |
| 权限与审批 | 遵循 Apple 系统权限和相应应用流程 | 遵循 Android 权限、账号状态及全局或单项工具审批设置 |
| 验证结果 | 回到目标 Apple 应用检查实际状态 | 读取工具返回结果,并在目标 Android 数据中核对记录 |
在 FoneClaw 中,当前屏幕、图片以及用户主动发起的语音或文字请求可以进入任务上下文。模型负责整理目标和字段,工具负责联系人、日历、备忘、通信、导航与设备状态等受支持动作。任务进度会展示正在处理的步骤和返回结果,便于用户判断是否需要提供信息、处理审批或检查目标数据。
模型处理与本地手机执行仍要分别理解。所选模型服务可能处理用户提交的内容;Android 工具则在手机上执行获得授权的操作。本地完成联系人创建或设备设置,不代表模型推理全部离线进行。语音输入也是用户主动启动的任务入口,而不是持续运行的通用唤醒服务。
从名片图片到已保存联系人
下面用一个假设的商务场景说明完整流程。你在活动上收到一张名片,希望把联系人保存到 Android 通讯录。可以向 FoneClaw 提供选定的名片图片,或明确附加当前屏幕,再要求:“提取这张名片中可识别的信息,核对姓名、电话和邮箱,先检查是否已有重复联系人,确认后再创建。”
第一步是区分“图片中能识别的信息”和“联系人工具当前能写入的字段”。名片可能显示姓名、办公电话、手机号、个人邮箱、公司邮箱、公司、职位和地址;模型可以整理这些可见内容。当前联系人创建支持写入显示名称,以及至少一个电话号码或邮箱地址。公司、职位、地址等附加信息可以留在核对结果中,但本流程不把它们作为联系人创建字段。
第二步是查询现有联系人。FoneClaw 可以按显示名称或电话号码筛选当前设备联系人,不使用邮箱作为查询条件。联系人查询需要读取联系人权限,默认也需要审批;实际审批行为由当前全局和单项工具配置决定。若出现一个或多个候选项,应比较姓名和电话号码,再决定停止创建或继续处理。
确认需要新建后,联系人创建工具必须已启用,并具备读取和写入联系人所需的 Android 权限。创建一条联系人时,需要显示名称以及至少一个电话号码或邮箱地址。该动作默认需要审批,实际行为仍以用户当前配置为准。保存目标是一条设备本地联系人,后续同步情况由设备上的联系人账号和系统设置决定。
创建前还会检查完全相同的电话号码或邮箱地址。若通讯录中已有精确匹配,工具不会再创建重复联系人;用户可以保留并检查现有记录。当前流程创建单条新联系人,不自动合并或更新重复记录,也不选择任意云端联系人账号。
创建完成后,可以按显示名称或电话号码重新查询,并在设备联系人应用中确认姓名、电话或邮箱是否正确。若执行中断,先用姓名或电话号码检查记录是否已经创建,再决定是否补做创建步骤。完整操作可参考AI 创建 Android 联系人并检查重复:从字段提取到 FoneClaw 确认保存。
用真实结果评估手机智能体
评估手机智能体时,可以从一个明确、可检查的动作开始。先确定输入是什么,例如一张名片或当前屏幕;再确定目标记录,例如 Android 联系人;随后确认工具是否启用、读取和写入联系人权限是否可用、审批方式是否符合任务风险。执行后回到设备联系人数据核对结果。
一条实用检查顺序是:模型是否提取了正确字段,联系人工具是否支持计划写入的信息,查询是否找到同名或同电话记录,权限与审批是否满足,创建是否返回结果,以及设备联系人中是否存在准确记录。任何一层不明确,都可以停在字段核对或候选选择阶段。
失败恢复应从最小步骤开始。图像看不清时重新提供清晰区域;联系人权限缺失时恢复对应 Android 权限;发现相同电话号码或邮箱时检查现有记录;执行状态不清楚时先按姓名或电话号码查询,而不是重新运行整条创建流程。更多恢复方法可查看手机智能体失败调试与恢复:Android AI 助手根因分析与最小重试手册。
Android 用户可通过FoneClaw 功能页核对当前支持的上下文入口、联系人和其他手机工具,并从FoneClaw 下载页安装应用。选择任务后,配置模型、启用所需工具、授予相应 Android 权限并设置审批方式,最后以设备中的真实记录完成验证。