音声から、ARKit 52種類の表情カーブを生成。 SoundWaveを解析し、音声に合わせてキャラクターの口や表情を動かすランタイムプラグインです。推論はPC内で完結し、Pythonや外部サーバーは不要です。
モデル入りZIPをダウンロード · 導入 · Windowsデモ · Blueprintの接続例
2026-09-30.01-49-17.-.Trim.mp4
LAM_A2E_Demo.mp4
日本語音声6件／1分24秒・音声あり。動画・音声・デモ演出：CC BY-SA 4.0。キャラクター：hinzka / VRoid、音声：JVNV / litagin。出典・利用条件
- SoundWaveを事前解析 — 右クリックで解析済みClipを生成・保存。ロード後は推論せず既存ノードで再生できます。事前解析の使い方
- 音声と表情を同期 — Blueprintで解析・再生・一時停止・シーク。AnimGraphの1ノードで52カーブを適用。
- 再生を細かく制御 — 2D / 3D、サブミックス、音量、ミュート、フェード、開始・終了イベント。
- マイク・PCMからライブ生成 — 推論間隔を約33〜1000 msに調整。実マイクの長時間運用は未検証です。
| 動作環境・入力 | 対応内容 |
|---|---|
| エンジン / OS | UE 5.8.2 / Windows x64 |
| キャラクター | ARKit 52対応Morph Target、またはカーブで駆動するリグ |
| 音声 | SoundWave · mono / stereo · 8〜192 kHz · 最大5分 |
| 推論 | DirectML優先、CPUフォールバック |
検証環境はRTX 3070 / Core i7-12700です。SoundCue・MetaSound・Procedural SoundWave・外部WAV/MP3の直接読み込みは対象外。再生は1倍速・ループなしです。
- v0.2.0のモデル入りZIP（約376 MiB） をダウンロード。
- UEエディタを終了し、ZIP内の
LAMAudio2Expressionを<Project>/Plugins/に配置。 - プロジェクトで LAM Audio2Expression を有効にし、必要に応じて再起動。
- Project Settings → LAM Audio2Expression のModelが
/LAMAudio2Expression/Models/LAM_A2Eであることを確認。 - パッケージ化する場合は、Packaging → Additional Asset Directories to Cook に
/LAMAudio2Expression/Modelsを追加。
Note
ビルド済みプラグイン・ソース・モデルを同梱しています。GitHubの「Source code」ZIPにはモデルとバイナリが含まれません。同梱の Source と Intermediate/Build は保持してください。詳しい導入手順
BP／AnimationBPのノード追加メニューで Lipsync と検索すると、LAMの公開関数や Apply LAM ARKit Curves／Apply LAM Viseme Curves を見つけられます。Editor用の公開関数も対象です。表示される候補はグラフの種類と「Context Sensitive」の設定によって変わります。コンポーネントの関数は、その参照ピンから検索すると見つけやすくなります。
Actorに LAMAudio2ExpressionComponent を追加し、コンポーネントとSoundWaveを解析ノードに渡します。
Blueprint Analyze SoundWave Async → Completed → Play Expression Clip
AnimGraph 元のポーズ → Apply LAM ARKit Curves → Output Pose
Completed のClipを再生ノードへ、表情を供給するコンポーネントをAnimGraphノードの Source Component へ接続。Alpha で強さ、Curve Profile で名前変換・倍率・マスクを調整できます。
自然終了は On Playback Finished、停止や差し替えを含む終了は On Playback Ended で受け取れます。再生制御・イベントの詳細
あいうえお・Oculus互換Visemeへの変換 — 5母音ルール、OpenFaceFX/TalkingHeadテンプレート逆算、モーフ名・強度の設定と専用AnimGraphノード。
Blueprint・表情・ライブ入力 · 検証結果 · ソースからビルド · 問題を報告
独自コードは MIT。LAM Audio2Expression 由来のコードと学習済みモデルは Apache-2.0 です。キャラクター・音声などのデモ素材は別リポジトリで配布しています。
再配布時は LICENSE・THIRD_PARTY_NOTICES.md・Licenses・ThirdParty/VisemeTemplates の表記を保持してください。第三者表記 · モデルの出典と運用