现在,你可以直接访问 Apple 智能核心的设备端基础模型,通过 Foundation Models 框架打造智能、私密且无需互联网连接的体验。借助对 Swift 的原生支持,只需三行代码即可利用该模型。借助这个框架,你可以通过文本提取、摘要等模型功能,为 App 中的智能功能提供支持。框架中内置了引导式生成、工具调用等功能,让你能够更轻松地在现有 App 和游戏中实现智能体验。
Apple 智能
Apple 智能是一套个人智能化系统,它将强大的生成式模型引入 iPhone、iPad、Mac、Apple Vision Pro 和 Apple Watch,可提供令人惊叹的新功能,帮助用户提升沟通和工作体验。你可以将 Apple 智能功能融入自己的 App 中、通过 App Intents 实现全系统整合,还可直接调用模型来构建专属智能体验。
了解 Apple 智能
Foundation Models 框架
视觉智能
除了 iPhone 摄像头之外,视觉智能现在还延伸到了屏幕显示内容。用户可以按下与截屏操作相同的按钮来搜索屏幕上的内容,并针对这些内容进行操作和提问。
借助 App Intents,你可以将 App 中的搜索功能集成到视觉智能中。这样,用户就可以在视觉搜索 iPhone 屏幕上的内容或身边的某个物体时,得到来自你的 App 的搜索结果。
快捷指令
现在,你可以在"快捷指令"App 中创建操作,并与新的智能操作结合,形成强大的组合。借助 App Intents,App 的操作和实体可与写作工具、图乐园等功能协同,还可以结合全新的"使用模型"操作,让用户可以直接利用设备上的 Apple 智能模型或私有云计算技术,让它们提供响应,帮助执行快捷指令的后续步骤。
智绘表情
现在,你可以进一步优化 App,让用户在使用你的 App 时就能创作出最应景的表情符号,即时传递当下心情。智绘表情创作再添新方式,比如,给喜爱的表情符号和智绘表情加上描述,即可轻松创作全新表情。对于以家人和朋友为原型创作的智绘表情,用户还会有更大的发挥空间。
如果你使用的是系统文本控件,你的 App 将自动支持智绘表情贴纸。此外,借助相关的 API,你还可使用自定文本引擎进行渲染。
图乐园
通过图乐园,用户可以使用照片图库中的概念、描述和人物来创建专属图像。而现在,对于以某个人物为原型创作的图像,用户将有更大的发挥空间,还可以选择使用 ChatGPT 挖掘更多风格。
借助 Image Playground API,你可以直接让自己的 App 也支持这些新的图像创作功能。此外,通过 Image Creator API,你还可直接在 App 中调用我们的设备端模型,通过编程方式生成图像。
写作工具
写作工具可在系统各处使用,帮助用户对文本进行改写、校对和归纳总结。如果你使用任何标准 UI 框架来渲染文本字段,那么 App 将自动兼容写作工具功能。或者,你可以应用 API,让用户在你的 App 中也能使用这些功能。