PhospheneをCodexで構築して、AI動画を生成してみた

Phosphene(フォスフェン)とは

Phospheneは、Mr. Bizarro氏が開発した、オープンソースのWebベースのAI動画生成ツールです。Apple Siliconを搭載したMac上で、LTX-2.5とMiniMax H3(Hailuo)という2種類の動画生成AIモデルをローカルで実行できます。
クラウドサービスを利用せず、自分のMacだけで映像と音声を生成できるのが特徴です。生成回数による課金もありません。

LTX-2.5とは、イスラエルのLightricks社が2026年8月に公開した、オープンウェイト(学習済みモデルの重みが公開されている)の音声・動画生成AIモデルです。テキストや画像から、映像と音声を同時に生成できます。

MiniMax H3(ミニマックス・エイチスリー/別名:Hailuo H3〈ハイルオ〉)は、中国のAI企業MiniMax社が2026年7月に発表した音声・動画生成AIモデルです。人物の会話や音声と口の動きの同期などに対応しています。

ちなみに、Phosphene(フォスフェン)とは、外から光が入っていないのに光を感じる現象のことです。目を閉じた状態で目をこすったり、まぶたの上から軽く押したりすると、光の点や模様が見えることがあります。あれのことです。

CodexでPhospheneを構築

今回も例のごとく、Codexに構築してもらいました。
公式の操作画面は英語ですが、日本語化するとフォントサイズやレイアウトの調整が必要になるため、今回は日本語化を見送りました。
その代わり、操作ドキュメントを日本語に翻訳してもらいました。
このドキュメントを読むと、各機能の使い方や設定項目、動画生成の手順などがよくわかります。英語の画面でも、操作に迷うことは少なくなりそうです。

Screenshot

Phospheneで作成できるもの

Phospheneは動画生成が中心ですが、それ以外にも静止画像の生成・編集、音楽生成、動画編集など、多くの機能を備えています。

主な機能は次のとおりです。

機能内容
動画生成テキストや画像から音声付き動画を生成
動画の延長既存動画の前後に映像を追加
リップシンク音声に合わせて人物の口を動かす
One Shotカットを切り替えない連続した長い映像を生成
Storyboard複数のショットを構成して動画を制作
Remix動画の動作変更、カラー化、画質改善など
Music StudioYuE2による歌詞からの楽曲生成
画像生成・編集FLUX系モデル、Qwen-Image-Edit、Ideogram 4などを利用
キャラクター学習LoRAを使って人物やキャラクターの特徴を学習
動画編集タイムラインによるカット編集、音楽、タイトル、トランジションなど

ただし、Macのメモリ容量によって利用できる機能や動画の品質には制限があります。

Macのメモリ容量による違い

メモリ容量利用できる主な機能
16GB以上LTX-2.5による低解像度の動画生成、画像生成・編集
24GB以上上記に加えてYuE2による音楽生成
36GB以上MiniMax H3の軽量版も利用可能
48〜64GBLTXのキーフレーム、動画延長、キャラクター学習、高画質生成など
96GB以上多くの機能を高解像度で利用可能
120GB以上さらに動画サイズなどの制限が緩和される

これらは大まかな目安で、実際に選べる品質や機能はモデルとMacの構成によって異なります。

特にMiniMax H3は36GB以上のメモリが必要です。また、モデルのダウンロードには相応のストレージ容量も必要になります。

※ Ideogram 4は、AI企業Ideogramが2026年に公開した画像生成AIモデルです。文字を含むデザインや画像生成に対応しており、Phospheneでは画像制作に利用できます。

ビデオモードは9種類

PhospheneのVideo画面には、9種類のモードが用意されています。モデルによって表示が変わります。

LTX用
Textテキストの指示だけで動画を生成
Character学習済みキャラクターを使って動画を生成
Image参照画像をもとに動画を生成
Start & end frame開始画像と終了画像を指定して動画を生成
Keyframes3〜8枚の画像をキーフレームとして指定
Extend既存の動画を前後に延長
Add sound無音動画に効果音や音声を生成・追加
Lip-sync音声に合わせてキャラクターの口を動かす
Remix動画の動作変更、カラー化、画質改善など

CharacterとRemixはLTX側の機能で、Add soundはMiniMax H3側の機能です。個人的に興味があるのは、Image、Start & end frame、Keyframes、Lip-syncあたりでしょうか。
静止画を使って動画にするだけでなく、途中のキーフレームを指定できるのは便利そうです。人物の一貫性をどこまで維持できるのか、これも試してみたいところです。

動画の品質

動画の品質は使用するモデルによって異なります。

LTX-2.5

品質解像度特徴
Quick640×448最も高速。動作確認向け
Balanced1024×576標準設定。速度と品質のバランス型
Standard1280×704生成サイズを大きくしたモード
High1024×576追加処理でディテールや動きを改善
High · 720p1280×704LTXの最高品質設定

StandardはBalancedより画像サイズが大きくなりますが、それだけで細部の描写が改善するわけではないそうです。High系のモードは追加モデルが必要で、生成時間も長くなります。

MiniMax H3(Hailuo)

品質解像度特徴
Draft640×384簡易プレビュー
Fast HD640×384 → 1280×768高速生成後にアップスケール処理
Standard768×448通常の動画生成向け
High1024×57616:9の推奨品質
Native1344×768最高解像度。生成時間は長い

MiniMax H3にはFastとBestという速度設定もあります。Fastは短時間で生成できますが、画質はBestより多少劣ります。画質と生成時間の関係は、実際に使いながら確認してみてください。MiniMaxは処理時間が長いのであまり使いたくないです。

動画の長さ

LTX-2.5では、3秒、5秒、7秒、10秒から選択できます。Quickモードのみ20秒にも対応します。

MiniMax H3では、3秒、5秒に加えて、5秒単位の映像を連結する10秒、15秒の生成が可能です。また、Best設定では10秒の連続生成にも対応しています。
長い動画を制作する場合は、One ShotやStoryboard、Extendなどの機能を組み合わせる方法もあります。

Phospheneと各AIモデルのライセンスについて

Phospheneは無料で利用できるオープンソースのアプリですが、注意したいのがライセンスです。
Phosphene本体にはMITライセンスが採用されています。これは、著作権表示などの条件を守れば、商用利用、改変、再配布などが認められる比較的自由度の高いライセンスです。
ただし、Phospheneで使用するAIモデルには、それぞれ別のライセンスが適用されます。
つまり、Phospheneが無料で商用利用できるからといって、そこで生成した動画や画像、音楽もすべて商用利用できるとは限らないということです。

主なアプリとAIモデルのライセンス上の注意点をまとめてみました。

アプリ・AIモデルライセンス・商用利用上の注意
Phosphene本体MITライセンス。商用利用、改変、再配布が可能
LTX-2.5独自のモデルライセンス。商用利用には適用条件の確認が必要
MiniMax H3(Hailuo)Community License。EU、英国、韓国、米国はライセンスの対象地域外
YuE2モデルの重みは原則非商用。ただし個人クリエイターによる生成楽曲の販売は認められる
Ideogram 4非商用利用のみ
FLUX.1 Krea [dev]非商用利用のみ
Bria FIBO非商用利用のみ
FLUX系のその他のモデルモデルごとにライセンスが異なるため個別確認が必要
Qwen-Image-Edit使用するモデルのバージョンとライセンスを確認する必要がある

特に注意したいのは、YuE2のように、AIモデル自体の商用利用と、生成した作品の商用利用とで扱いが異なる場合があることです。
また、MiniMax H3には地域によるライセンス上の制限があります。日本は前述の対象地域外には含まれていませんが、それだけで無条件に商用利用できるという意味ではありません。
Phospheneでは、一部のモデルを初めてダウンロードしたり使用したりする際に、ライセンスの確認画面が表示されます。

個人で動画を作って楽しむ場合と、生成した作品を販売したり、広告や商品デザインに使用したりする場合では、確認すべき条件が異なります。

ライセンスは更新されることもあるため、商用利用を考えている場合は、実際に使用するモデルの利用条件を確認した方がよさそうです。

参考: PhospheneのGitHub(LICENSESフォルダ)

日本語のセリフを喋らせてみた

日本語のセリフがどの程度自然に生成できるのか、試してみました。今回テストした限りでは、そんなに悪くありませんでした。
もちろん、まだ十分な検証をしたわけではありません。発音、イントネーション、口の動きとの同期などは、もう少し試してみる必要があります。

今回は、日夜美彩(ひたらし みさ)さんに喋ってもらいました。
まず、ChatGPTで美彩さんの参照画像を作成。その画像をPhospheneのImageモードに読み込み、動画を生成してみました。声が各動画によって変わらないようにSeed値は固定します。
実際に人物が動いて日本語を喋ると、静止画とはまた違った印象になります。
今回は短いテストですが、日本語の会話を使った動画制作にも使えそうな感触です。

参照画像

Japanese woman said quietly.
”わたしわ ひたらし みさ です”
She said after a short pause.
”よろしく おねがいします”
She bows.

生成時間:12 min 55 s

Japanese woman said quietly.
”おはよう ございます”
She said after a short pause.
”きょうは てんきが いいですね”
Smile warmly.

A Japanese woman spoke loudly.
”あっぷる しりこん せんよう ろーかる えー あい どうが がぞう せいせい つーる”
Take a breather
”ふぉすふぇん”

A Japanese woman said it quickly.
”とうきょう とっきょ きょきょきょきょか きょく”
She bursts out laughing.

A Japanese woman speaks with a puzzled look.
”あれ”
“にほんごの ぷろんぷと いけるんじゃ ないかな”
She tilts her head.

いや、日本語プロンプトは通じませんでした。この発音はちょっとダメですね。

まだまだテストはこれから

今回は、Phospheneを構築して、日本語のセリフを喋らせるところまで試しました。
ほかにも、開始画像と終了画像を指定する動画生成や、キーフレームを使った動きの制御、動画の延長、リップシンクなど、試してみたい機能はいろいろあります。

Music StudioにはYuE2も組み込まれていますが、こちらは別のアプリでも使っているので、Phospheneでどのような違いがあるのか気になるところです。
その他の機能はまだテストしていませんが、結果が出たらこの記事に随時追加していくつもりです。

熱が冷めていなければね。これが一番問題かな。

構成:ChatGPT

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

CAPTCHA


このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください。

目次