sync-3

概要

sync-3は16BパラメータのAIリップシンクモデル。ショット全体を通じたグローバルな理解に基づき、全フレームを一括生成します。実写映像と吹替のギャップを縮めるリアルさを追求し、95言語以上で4K出力を実現。

特長

• クローズアップや顔の一部しか見えなくても動作可能- 極端な角度・横顔・肩越し、遮蔽を自動検出・処理
• 発話者のスタイルと感情を保持、平坦化しない
• 低照度・多様な照明条件にも対応
• モデルは32倍大きく、95言語以上、4K出力対応

使用方法

• sync.so、API、またはAdobe Premiereプラグインで利用可能