XcodeによるReality Composer Pro 3の機能の拡張

XcodeによるReality Composer Pro 3の機能の拡張

Reality Composer Pro 3を活用して、より大規模で先進的な空間プロジェクトを構築しましょう。カスタムコンポーネントの編集、カスタムシステムの実行、独自のScriptGraphノードの構築を可能にするプロジェクト固有のプラグインを作成して、空間オーサリングワークフローを高度にコントロールする方法について解説します。

関連する章
- 0:00 - Introduction
- 2:00 - Extending the editor
- 4:51 - Custom components and systems
- 10:32 - Controlling the water surface
- 13:19 - Custom animation actions
- 17:12 - Custom Script Graph nodes
- 21:16 - Next steps
リソース
- - HDビデオ
  - SDビデオ
関連ビデオ

WWDC26
こんにちは Niklasです。このセッションではプラグインを使って Reality Composer Proを拡張する方法を紹介しますアーティストやコンテンツ制作者がエディタで直接アセットを操作できるよう素早くイテレーションして多彩な3Dアプリやゲームを構築する方法を紹介しますこの機能は今年後半に利用可能になる予定です。
こちらはReality Composer Pro 3です。 RealityKit向けAppleのゲーム・ 3Dコンテンツエディタの最新版です。このアップデート版ではより大規模なシーンに対応しコンテンツを素早くイテレーションするためのアーティスト向けワークフローやヘッドセットでシーンをプレビューする機能も備えています。
Reality Composer Pro 3の使い方についてはセッションをご覧ください「Iterate your spatial scenes faster with Reality Composer Pro 3」ぜひ確認してほしいもう1つのセッションが「Design no-code games with Reality Composer Pro 3」ですこのセッションではコードを書かずにゲームを構築する方法を紹介します Reality Composer Proのビジュアルスクリプトツール Script Graphを使いますこのプレゼンテーションではコードでできることを紹介します。 Xcodeでプラグインを構築してプロジェクト固有のコンテンツを Reality Composer Pro 3に公開する方法を説明しますカスタムコンポーネントがエディタ内に表示されアーティストやデザイナーが調整できるようになります。例えばアーティストは水位を変更したり回転速度を変えて大釜がリアルタイムに反応するのを確認したりできますアプリのビルドやデプロイなしに行えます。
まずエディタを拡張する一般的な仕組みを説明します。次にその仕組みを使ってカスタムコンポーネントとカスタムシステムをエディタで動かす方法を紹介しますまたシーケンサーのタイムラインに独自カスタムアニメーションを追加する方法もご紹介します。さらに Script Graph用の独自カスタムノードを作成する方法も説明します。
まず一般的な仕組みを確認しましょう Reality Composer Proの拡張とチームでの作業時の仕組みについてです。 Chaparral Villageゲームで進めていきます。このゲームはデベロッパ、アーティスト、デザイナーのチームが制作しました。このゲームにはReality Composer Proのプロジェクトと Xcodeプロジェクトの両方があります。エディタプロジェクトは主にアーティストやデザイナーが使ってエクスペリエンスのコンテンツを作成します Xcodeプロジェクトはエンジニアが最終アプリのビルドとアーティストがエディタでカスタムデータを作成できるプラグインの開発に使います。
Reality Composer Proのプロジェクトと Xcodeプロジェクトはリンクされておりエディタから直接アプリを起動できます。
このリンクは自分のプロジェクトでも設定できますウィンドウ上部のシミュレーションバーを使います。エディタプロジェクトとXcodeプロジェクトは同じgitリポジトリに格納されています。アーティストとエンジニアはローカルで変更を加えてコミット・プッシュしチームの他のメンバーと共有します。
Reality Composer Pro 3にファイルをインポートすると内部データ形式に変換されて JSONファイルとしてディスクに保存されます。 gitの組み込みツールで変更をマージできますがエディタにはカスタムマージツールも付属しており標準のgitマージよりも競合を減らしてファイルをマージできます。 Reality Composer Pro 3からアプリにデータを取り込むには RealityKitのシリアライズ形式である Reality Fileとしてエクスポートします。
これらがどのように連携するかを図で説明します。 Xcodeプロジェクトは最終ゲームアプリをビルドし Reality Composer Pro 3向けのプラグインフレームワークも作成します。 Reality Composer Pro 3はゲームのさまざまな3Dシーンを設定しオブジェクトを配置します。 RCPCustomComponents.frameworkはデベロッパが作成したコンポーネントとシステムをエディタで利用できるようにして
アーティストやレベルデザイナーが編集できるようにし動作を確認してコンテンツをインタラクティブに改善できます。
最終的にReality Composer Pro 3で作成されたシーンは Reality Fileにエクスポートされアプリにリンクされてロードされます。
コードが更新されたらデベロッパは新しいプラグインフレームワークをビルドしてチーム全員が使えるようにするとともに新しいアプリも作成します。コンテンツが変更されたら最終アプリでテストするために新しいReality Fileをエクスポートします。 Xcodeプロジェクトには 2つのスキームが設定されています。 ChaparralVillageは実際のアプリをビルドし RCPCustomComponentsは Reality Composer Pro 3のプラグインをビルドします。プロジェクト内のすべてのカスタムコンポーネントとカスタムシステムはこの2つのスキームで共有されています。どのように機能するか見てみましょう。
プラグインシステムを使ってカスタムコンポーネントを作成し Reality Composer Proに公開します。この大釜のエフェクトをアーティストと一緒に作りたいと思います。ゲームでこの大釜はポーションを混ぜるために使われ水位をコントロールできるようにして材料が追加されると上下するようにします。渦巻くエフェクトも追加したいのでポーションを混ぜる際に水が回転するのが見えるようにしますがまずは水位の設定だけから始めましょう。
これはScript Graphでも実現できます。このようになります。アップデートイベントで水面エンティティを取得して特定の位置に移動させます。より高度なことをしたい場合は Script Graphではなくカスタムコンポーネントを使う方が適切かもしれません。 Script GraphとカスタムSwiftコードは同様のことができますどちらを使うかは個人の好みによることが多いです。ただし非常に大きなScript Graphはメンテナンスが難しくなるためコードに切り替える良い理由になるかもしれません。コードを使えば他のApple APIと連携することもできます Script Graphでは利用できない SwiftUIなどです。この大釜については最終的には水位を他のシステムと連携させたいと思っていて表面に浮かぶ材料などと連携させたいのでコードで実装するのが適切です。これを実現するためにまず簡単なコンポーネントを作成します大釜の水位を保持するためのものです。水位を格納する単一のプロパティを持ちます。
Component プロトコルに加えて CauldronはCodableも実装します。これはこのコンポーネントを Reality Composer Pro 3で表現し Reality Fileにシリアライズするために必要です。より高度なコンポーネントでエディタに表示すべきでない実行時プロパティがある場合は CodingKeysを実装するのが適切かもしれませんがこのシンプルなコンポーネントではすべてのプロパティをシリアライズしたいのでそれは必要ありません。次に水位を設定するカスタムシステムを作成します。システムのアップデートで Cauldronコンポーネントを持つエンティティを検索します。次に水のメッシュの子エンティティを検索し水のメッシュの位置を調整します Cauldronコンポーネントで設定された水位に基づいて調整します。その後Reality Composer Pro 3がカスタムコンポーネントと対応するシステムを使えるようにする必要があります。そのためにプラグインクラスを作成する必要があります RealityComposerProPluginプロトコルを実装するものです。このプロトコルはRealityComposerPro Swiftパッケージから提供されます。このパッケージはXcodeプロジェクトに自動的に追加されますエディタでリンクするとシミュレーションツールバーのオプションを使います。このクラスのsetupメソッドで Reality Composer Proから受け取るコンテキストを使ってコンポーネントとシステムを登録します。これによりこれらのコンポーネントとシステムをエディタで使用できるようになります。
また Reality Composer Pro 3がプラグインを作成できるようにする必要もあります。 createRealityComposerProPlugin()関数を実装することでこれを実現しますプラグインを作成して返します。この関数がクラスをrawポインタとして返すことに気づくでしょうこの関数をDLLインターフェースでエクスポートする必要があるためです。またこれをC関数としてマークしエクスポート名を付ける必要がありますプラグインローダーが見つけられるようにするためです。実際にこれがどのように機能するか見てみましょう。まずwaterLevelプロパティを持つ Cauldronコンポーネントを作成します。
次に水面を配置するシステムを追加しますプロパティの値に基づいて配置します。
最後にコンポーネントとシステムを登録します Reality Composer Proに登録します。
これでプラグインスキームをビルドしてダイナミックライブラリを作成できます。
エディタでプロジェクトを開けるようになりました。このプロジェクトにはプラグインがあるため Reality Composer Proに信頼するか確認されます。を選択してプラグインを読み込みます。
プラグインの読み込みを承認するとインポートされたコンポーネントがエディタに表示されます。
プロジェクトのビルド設定に移動するとインポートされたコンポーネントとシステムもそこに表示されます。この設定パネルを使ってカスタムプラグインのディレクトリを指定することもできます。
インポートされたコンポーネントはプロジェクトのCustom Componentsフォルダにあります。コンポーネントをインポートして Reality Composer Pro 3が認識したので Cauldronエンティティに追加できます。
エディタで水位プロパティを変更すると水面が反応するのが確認できます。カスタムシステムがエディタ内で動作しておりプラグインの仕組みを通じてプロパティの値に基づいて水位を変更しています。アーティストやデザイナーはこれを使ってエディタでプロパティを微調整できますアプリを再ビルドして再起動する必要がありません。
システムをデバッグしたい場合はコードにブレークポイントを設定してエディタアプリケーションにアタッチできます。
コードが実行されると Xcodeデバッガで停止しロジックを確認できます。
基本的な水面が機能するようになったので渦巻くエフェクトを追加してさらに発展させたいと思います。プレイヤーが大釜をかき混ぜてポーションを混ぜる際に水面が渦巻きの形に変形するようにしたいです。水面の形を変えるためにテクニカルアーティストがこの渦巻きシェーダを構築しました Reality Composer Pro 3の Shader Graphシステムを使って構築しました。 Shader Graphには回転速度などのパラメータがありそれらのパラメータに基づいて渦巻きの形を生成します。これらのパラメータを制御できるようにしたいのでカスタムコンポーネントから制御します。そのためにまずいくつかのプロパティを追加します渦巻きの形をガイドするためのものです。次に以前作成した大釜のシステムを修正してこれらのパラメータを Shader Graphに伝播させます。まずShader Graphマテリアルを取得します。次にヘルパー関数を使って水面の形状を計算します Cauldronのプロパティに基づいて計算します。計算された形状を使って Shader Graphパラメータを設定します。最後にこのマテリアルをモデルに再度割り当てます。実際にどのように機能するか見てみましょう。まずCauldronに新しいプロパティを追加します。
次に水面を計算する関数を記述します。
最後にシステムを更新してシェーダパラメータを設定しプラグインを再ビルドします。
プラグインを再ビルドするたびに変更を反映させるために Reality Composer Proを再起動する必要があります。 Reality Composer Proから再びプロジェクトを信頼するか確認されます。このダイアログを表示しないようにするにはチェックボックスをオンにします。
次にカスタムコンポーネントへの変更が表示されるダイアログが現れます。変更はすべて問題ないので承認します。
Cauldronコンポーネントに戻ると新しいプロパティが表示されています。
水位のデフォルト値をいくつか設定しましょう渦係数を設定しましょう
では回転速度に別の値を試してみましょう。回転速度を上げると渦がより深くなるのが分かります。
次にアニメーションシステムでプラグインを使う方法について説明します。アニメーションシーケンサーはカスタムアニメーションアクションに対応しておりプラグインで定義できますその後シーケンサーのタイムラインに追加できます。大釜の水位を設定するカスタムアクションを作成します。これには EntityActionプロトコルを実装する必要があります。またReality Fileに保存するには Codableを実装する必要があります。
このアクションは2つのパラメータを取ります: 水面の開始レベルと終了レベルですこれにより2つの値の間でアニメーションできます。
EntityActionプロトコルのためにアニメーション値の型をTransformとして返す必要もあります。アニメーションエグゼキュータでエンティティにアクセスするために必要です。アクションを実行するコードも記述する必要がありますアニメーション実行時に水位を更新するためです。
そのためエンティティアクションに静的なsubscribe()関数を作成しますプラグイン読み込みコードから呼び出します。
この関数では EntityActionのsubscribeメソッドを使って .updatedイベントをサブスクライブします RealityKitがアニメーションを実行する際に呼び出されます。これを使ってカスタムアニメーションアクションを実行します。経過アニメーション時間を0から1の正規化された数値として取得します。
次に現在の水位を計算します正規化された時間を使って開始と終了の水位の間で補間します。エンティティからCauldronコンポーネントを取得して水位を更新します。最後に変更したCauldronコンポーネントをエンティティに再設定します。最後のピースはこのカスタムアニメーションを登録することです Reality Composer Pro 3に登録します。
カスタムコンポーネントやカスタムシステムと同様にアクションをコンテキストに登録してエディタが認識できるようにします。
また先ほど作成したsubscribe関数も呼び出す必要がありますアニメーションのアップデート時にアクションが実行されるようにするためです。実際にどのように機能するか見てみましょう。まずカスタムエンティティアクションを定義します。
次にこのアクションを実装するコードを追加します。
最後にこのアクションをエディタに登録してプラグインを再ビルドします。
エディタを再起動してプロジェクトを開くと新しいアクションがインポートされたことが表示されます。
このアクションを使うアニメーションを作成しましょう。まずエディタで新しいシーケンスを作成します。
次にシーケンスを開いてアニメーションのルートエンティティを設定します大釜を含むシーンに設定します。そのためにCauldronWorldというシーンを準備しています。
次にシーケンスにアニメーショントラックを追加します大釜をこのトラックに使うエンティティとして選択します。
左パネルからSetWaterLevelActionをドラッグしてトラックのタイムラインにドロップして大釜で実行されるアクションを作成できます。インスペクタでこのアクションを展開してパラメータを設定できるようにします: 大釜の水位の開始値と停止値です。開始値を0.3 停止値を0.5に設定します。これでアニメーションを再生できますカスタムアクションに基づいて水位が変化するのが確認できます。
アーティストやデザイナーは Script Graphを使ってゲームプレイとインタラクティビティを作成できます Reality Composer Pro 3のプロジェクトでコードを書くことなく実現できます。組み込みのスクリプトノードで多くのことができますがさらに高度なことをしたい場合はプラグインを使ってカスタムノードを追加できますデザイナーがScript Graphで活用できます。カスタムコンポーネントをScript Graphに公開する最も簡単な方法は @Scriptableマクロを使うことです。そのためにまずRealityKitScriptingを RealityKitScriptingMacrosモジュールとともにインポートします。このマクロはここで定義されています。 RealityComposerProのSwiftパッケージと同様にこのパッケージはXcodeプロジェクトを作成すると自動的にセットアップされます Reality Composer Pro内から作成した場合です。次にコンポーネントのstructに @Scriptableマクロを付けます。これはschema変数に展開されますコンポーネントを記述するものですスクリプトシステムに登録するために使います。他のすべての登録と同様にこれはプラグインの setup関数で行います。スクリプトモジュールはメインスレッドで登録する必要があります。
まずプロジェクトのスクリプト設定を作成します。設定のイニシャライザですべてのスクリプトモジュールのリストを返す必要があります。
Cauldronのschemaを保持する単一のモジュールを作成します。このschemaは@Scriptableマクロによって生成されます。次に設定を RealityKitScriptingに追加します。実際にどのように機能するか見てみましょう。まずスクリプトモジュールをインポートし @ScriptableマクロをCauldronコンポーネントに追加します。
次にスクリプトモジュールをエディタに登録するコードを追加してプラグインを再ビルドします。
Script Graphを作成して Cauldronコンポーネントの新しいカスタムノードを活用します。まずCauldronエンティティに Scriptingコンポーネントを追加します。
新しいコンポーネントをダブルクリックして Script Graphエディタを開きます。ユーザーがキーボードのキーを押すと水位が変化するようにします。まずアップデートノードを追加します。このノードはシーンがアップデートされるたびに実行されます。
次にIfノードを追加してキー入力と接続しますキーが押されるたびにノードが実行されるようにします。
Ifノードのtrueコネクタをつないで大釜の水位を設定します。
これで「a」キーが押されると大釜の水位が0.25に設定されます。別のキーを接続して異なる水位を設定します。そのためにグラフ全体をコピーして貼り付けます。
コピーしたものでキーを「z」に変更し水位を0.5に設定します。
シミュレーションビューを開いてテストできます。「a」と「z」キーを押すと水位が上下します。
このセッションでは多くの内容をカバーしました。 Xcodeを使ってシンプルなプラグインを作成する方法をご紹介しましたエディタの機能を拡張してアプリのデータを扱いエディタ内でコードを実行できるようにする方法です。詳しくはぜひご覧ください「Explore advances in RealityKit」セッション RealityKitの最新の追加機能をご覧いただけます。また次のセッションもおすすめです「Supercharge your spatial workflows with Reality Composer Pro 3」エディタで生産性を向上させる方法をカバーしています。新しいReality Composer Pro 3で皆さんがどんな素晴らしいエクスペリエンスを作るか楽しみにしています。ご視聴ありがとうございました

// Add a component to represent the water level

import RealityKit

public struct Cauldron: Component, Codable {
    public var waterLevel: Float

    enum CodingKeys: CodingKey {
        case waterLevel
    }
}

6:42 - CauldronSystem

// Add a system to control the water level

import RealityKit

public struct CauldronSystem: System {
    let query = EntityComponentQuery(Cauldron.self)
    public init(scene: Scene) {}

    public func update(context: SceneUpdateContext) {
        for (entity, cauldron) in context.entities(matching: query) {
            guard let water = entity.findEntity(named: "Cauldron_Water_mesh")
                else { continue }
            water.setPosition(SIMD3<Float>(0, 1, 0) * cauldron.waterLevel, relativeTo: entity)
        }
    }
}

7:00 - RCPCustomComponentsPlugin

// Make sure that Reality Composer Pro 3 knows about the Cauldron and CauldronSystem

import RealityComposerPro

final class RCPCustomComponentsPlugin: RealityComposerProPlugin {
    public func setup(context: any RealityComposerProContext) {
        context.registerComponent(Cauldron.self)
        context.registerSystem(CauldronSystem.self)
    }
}

@_cdecl("createRealityComposerProPlugin")
public func createRealityComposerProPlugin() -> UnsafeMutableRawPointer {
    return RCPCustomComponentsPlugin().passRetained()
}

10:49 - Cauldron component with vortex properties

// Properties to control water surface

import RealityKit

public struct Cauldron: Component, Codable {
    public var waterLevel: Float
    public var rotationSpeed: Float
    public var minWaterLevel: Float
    public var maxWaterLevel: Float
    public var vortexCoeff: Float
}

11:05 - CauldronSystem update with ShaderGraph

public func update(context: SceneUpdateContext) {
    for (entity, cauldron) in context.entities(matching: query) {
        guard let water = entity.findEntity(named: "Cauldron_Water_mesh") else { continue }
        water.setPosition(SIMD3<Float>(0, 1, 0) * cauldron.waterLevel, relativeTo: entity)

        guard var model = water.components[ModelComponent.self] else { continue }
        guard var mat = model.materials.first as? ShaderGraphMaterial else { continue }
        let surface = computeSurface(cauldron: cauldron)
        try? mat.setParameter(name: "Level Radius", value: .float(surface.levelRadius))
        try? mat.setParameter(name: "Lowest Point",
            value: .float(cauldron.waterLevel - surface.lowestPoint))
        try? mat.setParameter(name: "Height Change", value: .float(surface.heightChange))
        try? mat.setParameter(name: "Level Coeff", value: .float(surface.levelCoeff))
        try? mat.setParameter(name: "Is Level", value: .bool(surface.isLevel))
        model.materials[0] = mat
        water.components.set(model)
    }
}

13:25 - SetWaterLevelAction

// Custom action for setting the water level of the Cauldron

import RealityKit

public struct SetWaterLevelAction: EntityAction, Codable {
    // Parameters for the action
    public let startWaterLevel: Float
    public let endWaterLevel: Float

    // Required by EntityAction protocol
    public var animatedValueType: (any AnimatableData.Type)? { Transform.self }
}

14:05 - SetWaterLevelAction subscribe

extension SetWaterLevelAction {
    static func subscribe() {
        Task { @MainActor in
            SetWaterLevelAction.subscribe(to: .updated) { event in
                let normalizedTime = (event.playbackController.time - event.startTime) /
                    event.duration
                let action = event.action
                let currentLevel = action.startWaterLevel +
                    Float(normalizedTime) * (action.endWaterLevel - action.startWaterLevel)
                guard let entity = event.targetEntity else { return }
                guard var cauldron = entity.components[Cauldron.self] else { return }
                cauldron.waterLevel = currentLevel
                entity.components.set(cauldron)
            }
        }
    }
}

14:56 - RCPCustomComponentsPlugin with action

// Make sure that Reality Composer Pro 3 knows about the SetWaterLevelAction

import RealityComposerPro

final class RCPCustomComponentsPlugin: RealityComposerProPlugin {
    public func setup(context: any RealityComposerProContext) {
        context.registerComponent(Cauldron.self)
        context.registerSystem(CauldronSystem.self)

        context.registerAction(SetWaterLevelAction.self)
        SetWaterLevelAction.subscribe()
    }
}

@_cdecl("createRealityComposerProPlugin")
public func createRealityComposerProPlugin() -> UnsafeMutableRawPointer {
    return RCPCustomComponentsPlugin().passRetained()
}

17:32 - Cauldron with @Scriptable macro

// Expose Cauldron to Script Graphs

import RealityKit
import RealityKitScripting
import RealityKitScriptingMacros

@Scriptable
public struct Cauldron: Component, Codable {
    public var waterLevel: Float
    public var rotationSpeed: Float
    public var minWaterLevel: Float
    public var maxWaterLevel: Float
    public var vortexCoeff: Float
}

18:08 - Register scripting module

// Register scripting module

public func setup(context: any RealityComposerProContext) {
    context.registerComponent(Cauldron.self)
    context.registerSystem(CauldronSystem.self)

    context.registerAction(SetWaterLevelAction.self)
    SetWaterLevelAction.subscribe()

    Task { @MainActor in
        let config = RKS.Configuration(id: "ChaparralVillage")
            .onInitialize { _ in
            [
                Module("ChaparralVillage") {
                    Cauldron.SchemaProvider.schema
                }
            ]
        }
        try! RKS.addConfiguration(config)
    }
}

- 0:00 - Introduction
- An overview of the Reality Composer Pro 3 plugin system, showing how Xcode and the editor share a project to let engineers and artists collaborate — with custom components, systems, animation actions, and Script Graph nodes all running live inside the editor.
- 2:00 - Extending the editor
- Learn how the Reality Composer Pro 3 plugin system works: how the editor and Xcode share a single git repository, how custom Swift code is compiled into a dynamic library, and how the editor loads and trusts plugins at runtime.
- 4:51 - Custom components and systems
- Build a Cauldron component and CauldronSystem using RealityKit, expose them to the editor via a RealityComposerProPlugin, and see the water level property update in real time as artists adjust values in the inspector.
- 10:32 - Controlling the water surface
- Extend the Cauldron component with vortex shader properties and update the system to drive a ShaderGraphMaterial at runtime, enabling artists to control vortex depth and rotation speed directly from the Reality Composer Pro 3 inspector.
- 13:19 - Custom animation actions
- Implement the EntityAction protocol to create a SetWaterLevelAction that animates the cauldron water level on the sequencer timeline, subscribe to animation update events to interpolate the level, and register the action with the editor plugin.
- 17:12 - Custom Script Graph nodes
- Use the @Scriptable macro to expose a custom component to Reality Composer Pro 3 Script Graphs, register a scripting module in the plugin setup, and see the generated nodes appear in the Script Graph editor for no-code artist workflows.
- 21:16 - Next steps
- Recap of the plugin capabilities covered — custom components, systems, animation actions, and Script Graph nodes — with recommendations to explore the Explore Advances in RealityKit and Supercharge Your Spatial Workflows sessions.

「今すぐ始める」を詳しく見る

最新情報

プラットフォームを詳しく見る

特集

テクノロジーを詳しく見る

特集

コミュニティを詳しく見る

特集

ドキュメントを詳しく見る

リリースノート

ダウンロードを詳しく見る

特集

サポートを詳しく見る

特集

クイックリンク

関連する章

リソース

関連ビデオ

WWDC26