MMDのモデルを画面に表示する 言葉にすれば単純ですが 滑らかに動かしながら編集できるアプリを作るには 描画以外にも多くの仕事があります
モデルの骨格を動かし 表情を変え モーションを評価し タイムラインを更新する これらの処理が間に合わなければ GPUが画面を描いていても操作は重く感じられます
VMD Viewer for Mac(VvfM)の初期開発で向き合ったのは まさにこの問題でした
MMDと互換ソフト それぞれの実装
MikuMikuDance(MMD)は モデルやモーションを組み合わせて映像を制作するためのWindows向けソフトです 公式配布にはDirectX 9版があります 一方 MacでもMMDの素材を扱うため 異なる技術基盤で動く互換ソフトが開発されてきました MMD公式配布ページ
例えば nanoem はmacOSを含む複数の環境を対象とし Metalなどの描画基盤を使うMMD互換実装です モデルのスキニング つまりボーンの動きを頂点に反映する計算をGPUに分散する設定も用意されています ただし 公式マニュアルでは物理演算などはその対象外で 条件によってCPU処理になることも説明されています nanoem公式資料
ここで重要なのは GPUを使って画面を描くことと モデルの変形計算をGPUで行うことは別だという点です どの処理をどこで行い 毎フレーム何を更新するかは アプリごとの設計に委ねられます
MMDの内部処理の分担は 今回確認した公式資料だけでは判断できません 以下はMMDやnanoemとの速度比較ではなく VvfMの開発過程で見つかった課題と改善の記録です
Metalを使っていても 画面操作は重くなった
VvfMは v0.1.0 の時点で macOSネイティブの画面とMetalによる描画を採用していました v0.2.0 ではGPUスキニングも導入しています つまり v0.13.0 で初めてGPUを使い始めたわけではありません
しかし 機能を増やし 大きなデータを扱うようになると別の問題が現れました v0.6.0 の開発記録には 約19.7万頂点のデータで描画FPSと画面操作の応答が一致しない状況が記されています クラッシュログを調べると 画面更新に関わる再帰的な処理と 約4.3 GBまで膨らんだヒープメモリが確認されました
モデルが表示されていることと タイムラインを気持ちよく操作できることは 同じではありません GPUの描画に加え CPU側の姿勢計算や画面部品の更新も調べる必要がありました
タイムラインと姿勢計算を見直す
続く v0.6.1 では IKやボーンの計算をキャッシュし 影響を受ける範囲の更新を見直しました タイムラインも すべてのキーを毎回扱う構造から 表示範囲を中心に描画する構造へ変更しています
ここでの転機は GPUに仕事を追加することではありません 毎回すべてを更新する必要があるのかを問い直し 処理対象を絞ったことです
19万頂点のうち 実際に変わっていたのは約3%
さらに v0.12.1 では 表情などを変える「モーフ」の処理を測定しました モーフは モデルを構成する頂点の位置などを変えて 表情や形状を表現する仕組みです
開発記録によると 196,740頂点のデータでモーフが変化するフレームでは 全頂点の再構築に平均 29.14ミリ秒かかっていました 一方 実際に変更対象となったのは平均 6,423頂点 全体の約 3.3%でした
この測定から 変化していない多くの頂点についても 毎回処理を行っていることが分かりました 問題は単純に「GPUの性能が足りない」ことではなく データの準備と更新の方法にもあったのです
GPUとCPU それぞれに経路を用意する
v0.13.0 では PMXモデルを読み込む段階で 各モーフが頂点に与える影響を整理する方式に変更しました 再生中に全頂点を初期化し すべてのモーフを展開し直す処理を避けるためです
対応するApple GPU向けには Metal computeで頂点ごとのモーフ計算を行う経路を用意 毎フレームCPUからGPUへ渡す情報を モーフの適用量に絞りました
一方 CPU互換経路では 前フレームから変化した量を 影響を受ける頂点に反映します さらにバッファを複数用意し GPUが描画中のデータをCPU側が上書きしないようにしました 共有メモリを使う環境でも CPUとGPUが同じデータにいつアクセスするかという調整は必要です Appleの同期に関する資料
なお GPU経路について「変更された頂点だけを計算する」とは限りません 変更範囲を絞る仕組みとして開発記録に明記されているのは CPU互換経路です
数字が示すものと まだ示せないもの
v0.13.0 の記録では 196,740頂点・1,132モーフキーのデータを使い 自動GPU経路で描画 51.1〜56.7 FPS 再生更新 42.6〜47.0 FPSが記録されています CPU疎更新経路では それぞれ 49.0 FPS 36.4 FPSでした
描画FPSと再生更新FPSは別の指標です また 当時の記録には機種 解像度 反復回数など 比較に必要な条件がすべて記されているわけではありません この数字から 他のソフトとの優劣や 現在のすべてのMacでの性能を判断することはできません
それでも 開発上の方向は明確になりました 重さを「GPUが遅い」という一言で片づけず 何を どれだけ どの頻度で処理しているかを測る そのうえでUI CPU GPUの役割とデータの流れを見直すことが VvfMの初期の大きな転機になったのです
本稿は VvfM 開発版 v0.1.0〜v0.13.0 の CHANGELOG に基づいています 記載した数値は当時の特定データでの記録で 現行版の性能や互換性を保証するものではありません