プライベートクラウドコンピューティングによるApple Foundation Model の活用

こんにちは Louisです。 このビデオでは、Private Cloud Computeを使って パワフルな新しいサーバーLLMに アプリからアクセスする方法を紹介します。 昨年は、新しいFoundation Model フレームワークを通じて デバイス上のパワフルなLLMへの アクセスを提供しました。 今年は、デバイス上のLLMを さらに強化しました。 画像入力のサポートが追加され、 指示への対応力が向上し、 カスタムツールの呼び出しも 改善されました。 ただ、より高度なモデルが必要な 複雑なユースケースもあります。 さらにパワフルなモデルが 必要な場合もあります。 そこで今年は、Private Cloud Compute上で 動作する新しいサーバーモデルへの アクセスも提供します。 このモデルを使って、アプリに 複雑なAI機能を組み込めます。 大量のユーザー入力に対して リーズニングを行うアシスタントや、

大量のツール呼び出しに依存する 機能など、 大きな出力を伴うものも対応します。

watchOSからPrivate Cloud Compute を呼び出すことも可能です。

このビデオでは、Private Cloud Compute の概要を説明し、 Foundation Modelフレームワークを使った アプリからのアクセス方法と、 Foundation Modelフレームワークを 使った方法を紹介します。 また、利用制限の扱い方も解説します。

Private Cloud Computeは システム機能を動かしており、 複雑なタスクをAppleのサーバーに 送信します。 そして今後は、アプリからも このアクセスが可能になります。 つまり、プライバシーを 損なわずに パワフルなサーバーLLMに アクセスできます。 Private Cloud Computeはエンドツーエンドの プライバシーを念頭に設計されており、 ユーザーデータが保存されることは 一切ありません。 データはリクエストにのみ使用されます。 これらはすべて研究者によって 独立に検証されています。 さらに優れた点があります。 Private Cloud ComputeはiCloudと共に OSに統合されています。 そのため、サーバーモデルで 通常必要な認証やAPIキーを 心配する必要はありません。 ユーザーはApple Intelligenceに 対応したデバイスを持つだけでOKです。 アカウント設定不要、認証不要、 APIキー不要で、 これはまさに、これまでで最も簡単な サーバーLLMと言えます。 さらに嬉しいことに、デベロッパには トークンコストが発生しません。 各ユーザーには1日の利用制限があります。 ユーザーはiCloud+にアップグレードして 上限を引き上げることができます。

このモデルは、ダウンロード数が 200万未満のアプリで利用できます。 デベロッパWebサイトから 今日申請できます。 では、Foundation Modelフレームワークで アプリに統合する方法を見ていきましょう。 Foundation Modelフレームワークを使って 統合する方法を確認します。 Foundation Modelを使った アプリをすでにお持ちの方は、 わずか3行のコードでデバイス上のLLMに プロンプトを送れることをご存知でしょう。 セッションを作成して、 プロンプトへの応答を求めるだけです。 そして今や、たった1行変えるだけで、 PCC上の新しいサーバーモデルに 切り替えられます。 その1行だけで、より大規模なモデルと やり取りできるようになり、 大きなコンテキストと、より複雑な 推論能力が使えます。 Foundation Modelフレームワークは 統一されたSwift APIを提供しており、 どのモデルを使っていても 同じように操作できます。 Generableで構造化出力を得たり、 ツールを呼び出したりする操作も、 PCCモデルとオンデバイスモデルで まったく同じように動作します。

これにより、コードを書き直すことなく モデルを簡単に切り替えられます。

注意点として、 オンデバイスモデルと同様に、 PCCはApple Intelligenceデバイスでのみ 利用できます。

利用可能かどうかのAPIを確認し、 ユーザーのデバイスで Apple Intelligenceが 利用できない場合も 適切に処理することが重要です。 Foundation Modelを使って 機能を開発する際は、 どのモデルを使うかの選択が 重要な決断になります。 では、オンデバイスシステムモデルと PCCモデルの違いを見ていきましょう。 どちらもプライバシーを提供します。 オンデバイスモデルはオフラインで動作しますが、 PCCにはインターネット接続が必要です。 オンデバイスモデルにはリクエスト制限が なく、 PCCはユーザーごとに1日の制限があります。 コンテキストサイズも、一部の機能に とって重要な要素です。

オンデバイスモデルは4K、PCCでは32Kを 利用できます。 PCCモデルはリーズニングもサポートしています。 では、リーズニングとは何でしょうか。

LLMがプロンプトに応答する際、 通常はプロンプトを読んで 応答を生成するだけです。 リーズニングでは、モデルが応答を生成する前に 考えます。 これは、トランスクリプトの 別のセグメントで モデルが追加テキストを生成することで 実現されます。 PCCモデルは3段階のリーズニングレベルを 提供します。 Lightではモデルが少し追加コンテキストを 収集します。 Moderateではモデルがより深く リーズニングします。 Deepでは、リーズニングセグメントの テキストが 実際の応答よりも長くなる 場合があります。

セッションでrespondを呼び出す際に リーズニングレベルを設定できます。

セッションのトランスクリプトには リーズニングセグメントが含まれます。 トランスクリプトを監視して 進捗状況を表示できます。 これは特に、時間がかかる場合がある Deepリーズニングレベルで 特に役立ちます。 ただし注意が必要です。

リーズニングはモデルが生成する 追加テキストです。 そのため、トークンを消費します。 これはコンテキストサイズの 制限に含まれます。

コンテキストサイズについて言えば、 便利なAPIも追加しました。 モデルのコンテキストサイズを プログラムで取得できます。 contextSizeプロパティにアクセスするだけで、 SystemLanguageModelまたは PrivateCloudComputeLanguageModelで 利用できます。 オンデバイスモデルとPCCモデルを 選ぶ際や、 リーズニングレベルを決める際は、 感覚ではなく、データに基づいて 判断することが重要です。 感覚ではなく。 評価によって、特定機能の品質を 把握できます。 オンデバイスモデルが特定のタスクで どれだけ優れているか 驚かれるかもしれません。 特に今年のモデルアップデートで その傾向が顕著です。 しかし、評価して初めてわかることです。

そこで新しいEvaluationフレームワークを 作りました。 Foundation Models機能を評価するための 新しいSwiftフレームワークです。 Foundation Modelの機能を 評価できます。 Xcodeに直接統合されており、 すぐに使い始めることができます。 詳細は「Meet the Evaluations framework」をご覧ください。

さらに、オンデバイスモデルと サーバーモデルを組み合わせて使えます。 「Build agentic app experiences with Foundation Models」で 詳細を確認できます。 アプリでPCCモデルを使用する際は、 利用制限を適切に扱うことが重要です。 リクエストはユーザーのiCloudアカウントで カウントされます。 ユーザーが制限に達した場合にも 対応できるようアプリを最適化できます。 では、その方法を見ていきましょう。

ここでは、PCCモデルを使って 記事を要約するアプリがあります。 Markdownファイルを選択すると、 テキストと画像を取得して、 LanguageModelSessionに渡し 要約を生成します。 PCCが提供する大きなコンテキストサイズで 非常にうまく機能します。 しかし、ユーザーが制限に達すると リクエストがエラーをスローします。 そのエラーをUIに表示するだけでは、 ユーザー体験として優れておらず、 適切なアクションにつながりません。 より良い対応として、 モデルのquotaUsageで isLimitReachedを確認し、 アプリ内のカスタムUIで 処理できます。 ここではラベルを使って ボタンの下に表示しています。

ユーザーの制限を超えた場合に、 制限を管理するためのボタンを ユーザーに表示できます。 たとえば、 ユーザーがアカウントをアップグレードして 上限を引き上げることで、 より多くのリクエストが できるようになります。

これを既存のUIに 統合してください。 利用制限についてアラートを 表示することは避けてください。 このUIは持続すべきで、 閉じられるべきではありません。 代わりに、UIの状態を更新して、 リクエストを送るボタンを 無効化するなどの方法があります。 そのボタンの下に控えめなラベルを表示し、 希望するユーザーが上限を引き上げるための ボタンも表示します。 ユーザーが制限に近づいている場合も 検出できます。 1日の制限に近いことをユーザーに示すのは 良い方法で、 どのリクエストを行うか 情報に基づいた判断ができます。 Xcodeには便利なデバッグオプションがあり、 利用制限のステータスを シミュレートできます。 スキームで を選択し、 を選択します。

ここに「Simulate Apple Foundation Models Availability」オプションがあります。 を選択して、 UIで処理したケースを シミュレートできます。 を選択すると、 ユーザーが1日の制限に近い状態を シミュレートできます。

isLimitReachedのケースは 先ほどのコードで処理しました。 その前のコードで処理済みです。 belowLimitのケースもテストできます。 isLimitReachedと同様に、 シンプルなラベルを表示できます。

アプリでは、リクエストボタンの下に ラベルが表示されます。 こちらにもアクション可能な ボタンが含まれています。 これで、最大値に達していなくても ユーザーが制限をコントロールできます。 これはわずか数行の コードで実現できます。 以上、アプリへの統合について 簡単に紹介しました。 Private Cloud Computeの統合です。 アプリでこの新しいサーバーモデルを 使いたい場合は、 デベロッパWebサイトから 今日申請できます。 Foundation Modelと関連フレームワークの 新機能に関する 豊富なコンテンツも用意しています。 「What's new in the Foundation Models framework」から始めると、 概要をつかむのに最適です。 ランタイムでのモデルの動作を 詳しく理解するには、 「Debug and profile agentic app experiences with Instruments」を ご覧ください。 ご視聴ありがとうございました。 あの本はどこですか 図書館に持っていかないといけません。

いや、本当に、あの本はどこですか。