YuE2をMacで使いたくて、CodexにYuE Studioを構築してもらった。

音楽生成AI「YuE2（ユエ ツー）」の評判が良いので、Macで使えるYuE StudioをCodexに構築してもらった。
アプリそのものをダウンロードして使うこともできるのだが、どうせなら日本語UIにしたり、文字を大きくしたり、自分が使いやすいようにカスタマイズしたい。

そこでCodexには、これだけ頼んだ。

YuE Studioを構築してください。
https://github.com/tonywestonuk/YuE-Studio

すると、これまでCodexにアプリを作ってもらったときと同じように、日本語UI、大きめの文字、コピー可能なログ欄まで追加してくれた。
作成時間は11分30秒。

さらに日本語ガイドまで作ってくれた。

GitHubには「YuE Studio」がいくつもあった

後から分かったのだが、GitHubで検索してみると「YuE Studio」「YuE2 Studio」という名前のプロジェクトが複数ある。

今回構築したのは、tonywestonuk氏が公開しているYuE Studioだった。
このYuE Studioは、YuE2をApple Silicon搭載Macで動かすためのネイティブMacアプリ。GPUとNeural Engineを組み合わせて処理するように作られている。
公式の必要環境はApple Silicon Mac＋macOS 14以降。メモリは32GBが快適とされているが、16GBでも動作する。初回にはモデルなどをダウンロードするため、それなりに容量も必要になる。

面白いのは、MacのNeural Engineだけではなく、同じネットワークにあるiPhoneを2台目のNeural Engineとして使う仕組みまで用意されていること。ただし、これはiPhone側に専用アプリを入れる必要があり、Apple DeveloperアカウントとXcodeを使った設定が必要になる。

そもそもYuE2は何が面白いのか

YuE2は、歌詞と曲調の指示を渡して音声を直接生成するだけの音楽AIじゃない。
いったんメロディとコードの設計図を作り、それを元に歌声と伴奏を含む曲を生成する。この設計図を人間側で確認したり、編集したり、もう一度使ったりできるのが大きな特徴だ。公式ではこれを「symbolic planning」と呼んでいる。
つまり、
「さっきの曲、メロディは良かったのに……」というときに、そのメロディを捨てずに済む。

ABC形式の楽譜を指定して生成することもでき、音源からメロディを採譜して別のスタイルで作り直す「zero-shot cover」や、楽譜、アレンジ、歌詞を変更しながら曲を作り直す仕組みも用意されている。生成音声は48kHzステレオ。出力ファイルはflac。

この「曲を生成して終わり」ではなく、途中の楽譜に触れるところがYuE2の面白いところだと思う。

YuE Studioの画面

これはインストール時の初期設定画面。

これがアプリ画面。左側には曲の設定があり、曲名、曲調・楽器・歌声、歌詞などを入力する。
その下には生成設定があり、曲数、楽曲構成、音質と処理方法、iPhoneのNeural Engine利用、インストゥルメンタル（歌声なし）、最大の長さ、シード値などを設定できる。
さらに、
ABC形式の楽譜
楽譜の使い方
音声ファイルを採譜
鼻歌を録音
といった機能もある。右側には生成した曲が並ぶ。
（カスタマイズしているので、オリジナル画面とは違っていると思います。多分）

曲調の指示は英語のほうが良かった

何曲か作ってみたところ、俺の環境では日本語のスタイルプロンプトはうまく通じなかった。
「ボサノバ」と書いて生成してみたら、なぜか少し中華風になった。
曲調、楽器、歌声などの指示は英語で書いたほうが良さそうだ。
一方、歌詞の自動生成では日本語が通った。
ただ、最初は英語の歌詞を生成してきたので、プロンプトの冒頭に「日本語歌詞」と加えたところ、日本語で生成してくれた。

一度曲を生成してみて、気になるところは自分で直した。
例えば最初は、「古びた歌が耳を打つ」となっていた。意味は分かるのだが、どうも引っかかったので、「古びた歌が胸を打つ」に変更した。

AIが歌詞を作ってくれても、そのまま使うより、一度歌わせてみて違和感のある部分を直したほうがいい。

「さっきのメロディが良かったのに」がなくなる

YuE2で一番いいと思ったのが、この機能。
生成した曲のメロディが気に入ったら、その曲から生成されたABC楽譜をコピーして、次の生成に使うことができる。
楽器や歌声、音の雰囲気などは多少変わるが、楽譜を元に生成するので、狙ったメロディを引き継ぎやすい。YuE2自体も、生成した設計図を再利用したり、ABC楽譜を指定して生成したりする仕組みを正式に備えている。
これはかなり良い。
音楽生成AIを使っていると、「さっきのはいいメロディだったのに、歌詞を間違えていた」ということがある。ヤキモキしながら試聴していて最後に間違われるとガックリする。
仕方なくもう一度生成すると、今度はまったく違うメロディになってしまう。
あのガチャ問題から救われる。
楽譜そのものを修正することもできるので、音楽に詳しい人ならさらに追い込めると思う。
俺はできない。

ABC楽譜は、一般的な五線譜とは違い、音符や拍子、コードなどを文字で記述する楽譜形式だ。
最初は暗号のように見えるが、テキストなのでコピーや編集がしやすく、コンピュータで扱うには都合がいいらしい。
せっかくなので、ABC楽譜をChatGPTに渡して五線譜にも変換してもらった。正確かどうかは分からんが。。。

こちらのほうが見慣れているので分かりやすい。読めるわけではないが……。

実際に1曲作ってみた

ほんで、できたのがこれ。曲のプロンプトは、たったこれだけ。

jazz fusion, female vocals, melodious, electric guitar, slow tempo

「jazz fusionか？」と言われると、ちょっと違う気も、いや全然違う気がする。まあ、気に入れば結果オーライで。
次は動画を作るために歌詞をChatGPTに見せて、曲に合わせた画像も生成してもらった。
当初は「30枚作成して」と頼んだのだが、そのときは一度に10枚までと言われた。
最初の10枚は問題なく出力。
ところが次の10枚を頼むと、なぜか複数の場面を1枚にまとめたストーリーボードのような画像が出てきた。
どうやら複数カットをまとめて要求すると、1枚のストーリーボードやコラージュとして解釈されることがあるようだ。
結局、一枚ずつ生成してもらったよ。はあAIだろ。しっかりしろよ。
そのあと、これもCodexで作った動画編集アプリに楽曲と静止画を読み込み、一本の動画にした。

YuE2は結構いける。ただし、まだ癖はある

実際に使ってみると、YuE2は結構いける。
特に、曲を生成したあとに楽譜を取り出し、それを元にもう一度生成できるのは気に入った。
一方、まだ気になるところもある。
日本語歌詞では漢字の読みを間違えることがあった。
例えば「九月」を「キュウガツ」と歌ったり、「きらめいて。」の最後を落として「きらめい」のように歌ったりする。
これは他の音楽生成AIでもありがちだけど。

曲の長さによっては、最後が唐突に切れてしまうこともあった。
このあたりは、まだ生成したら完成というわけにはいかない。
何度か聴いて、歌詞を直したり、再生成したりする必要はありそうだ。
それでも、メロディやコードを楽譜として残し、そこから作り直せる仕組みはかなり面白い。

YuE2のライセンスについて

ここは少しややこしいので注意。
YuE2のモデル重みは、現在も基本的にCC BY-NC 4.0で公開されている。
ただし、2026年9月16日に「Individual creator permission」が追加され、個人クリエイターについては大きく条件が変わった。
現在の規約では、個人として活動するユーザー、コンテンツクリエイター、ミュージシャンはYuE2を無料で利用し、生成した作品を
公開・配布・販売・ライセンス・収益化することが認められている。

YouTubeなどの商用プラットフォームで収益化したり、クライアントに生成した楽曲を納品したりする場合も、YuE2の権利者に別途商用ライセンス料やロイヤリティを支払う必要はない、と明記されている。
ここで重要なのは、生成した楽曲そのものにCC BY-NC 4.0の「非営利」制限がそのままかかるわけではないという点。
公式ライセンスにも、YuE2で生成したという理由だけで、生成物にモデル重みのNonCommercial制限が適用されるわけではないと記載されている。

また、生成した作品へのYuE2のクレジット表示についても、現在は必須ではなく推奨となっている。
公式は「YuE2」あるいは「#YuE2」を付けることを強く推奨しているが、個人クリエイターが生成物を収益化するための条件ではない。
俺なら分かりやすいので、公開するときは例えば、
Music generated with YuE2 by M-A-P #YuE2
あるいは日本語なら、
楽曲生成：YuE2 by M-A-P #YuE2
くらいは入れておこうと思う。AIで作ったことを隠すのは嫌なので。。。

GitHub – multimodal-art-projection/YuE（MODEL_LICENSE）

ただし、この特例は個人クリエイター向け。
企業がYuE2のモデル重みを商用利用する場合は、別途商用ライセンスについて開発元へ問い合わせる必要がある。モデル重み自体を商用で再配布・販売できるという意味でもない。

また、入力した素材や生成物に第三者の権利が含まれる場合までYuE2のライセンスが保証してくれるわけではない。この点は別の話になる。

使ってみた感想

Sunoのようにプロンプトを書いて曲を出して終わり、という音楽生成AIとは少し方向が違う。（いやSunoは使ったことないのだが…）
YuE2は、生成した途中に楽譜という触れるものが残る。
そこが面白い。
「このメロディは残したい」
「歌詞だけ直したい」
「雰囲気を変えてもう一度作りたい」

そんなときに、全部ガチャを引き直さなくてもいい。
日本語の発音など、まだ気になるところはある。
それでも、自分で生成した曲を後からもう少しいじってみたい人には、かなり遊べる音楽生成AIだと思う。

構成：ChatGPT