FramePackでテキストからAI動画を作る方法をAIに教えてもらった

私：

FramePackは画像からAI動画を作れますが、テキストだけではダメですよね。テキストからAI動画を作るためには、FramePackでは無理ですか？

Grok：

FramePackは基本的に「画像 + テキストプロンプト」から動画を生成するI2V（Image-to-Video）ツールとして設計・公開されています。公式のオリジナル実装（lllyasviel/FramePack）では、純粋なテキストだけ（Text-to-Video = T2V）で最初から動画を生成するのは標準ではサポートされていません。

（最初のフレームが必要で、たいていはユーザーが画像をアップロードする形です）ただし、2025年後半〜2026年現在では状況が少し変わってきていて、以下の方法でテキストだけから（ほぼT2Vのように）使うことが可能になっています。FramePackでテキストだけから動画を作る主な現実的な方法（2026年1月現在）方法

1. 真っ黒/真っ白/ノイズ画像を初期フレームとして使う

★☆☆

★★★☆☆

何でも良い（Paintで黒塗りでOK）

最も簡単。多くの人がこれで「擬似T2V」として使っている

2. FramePack-F1 + ComfyUI専用ワークフロー

★★☆

★★★★☆

ComfyUI + カスタムノード

公式より柔軟。最初のフレームがなくても動きやすい

3. FramePack Studio などのフォーク/拡張版

★★☆

★★★★☆

専用アプリ or ComfyUI

T2Vモードが明示的に入っているものが多い（黒画像自動生成など）

4. 公式のP1版（開発中/一部公開）

★★★

★★★★☆〜★★★★★

最新GitHubチェック

純粋T2Vのstress-test結果が公開されているが、まだ本格実装は限定的

おすすめの始め方（一番簡単な順）公式FramePackのWindows一括インストール版を使う（今最も手軽）黒い画像（真っ黒PNG）を「初期画像」としてアップロード

プロンプトにしっかり動きを詳細に書く（例：「A black screen slowly fades into a dancing girl in red dress, camera panning right, cinematic lighting」）

これでかなりの人が擬似テキスト→動画を実現しています

ComfyUI + FramePack-F1-T2Vカスタムノードを使うdorpxam/ComfyUI-FramePack-F1-T2V などのコミュニティノードを入れる

ここは明確にT2V設定が用意されている場合が多く、初期画像なしモードも多い

FramePack Studio（FP-Studio/framepack-studio）系「T2Vモード」対応を明記しているフォーク

黒/白/ノイズ/グリーンバック自動生成機能付きのものが多い

結論（シンプルに言うと）純粋なテキストだけ（画像ゼロ）で完璧に動く → 公式FramePack標準では無理です

でも実際には「真っ黒画像 + 詳細プロンプト」で十分実用的なT2Vとして使えます（ほとんどの人がこうしています）

本気で綺麗なT2Vがしたいなら、今はWan 2.2 T2V または HunyuanVideo 1.5 T2V をComfyUIで直接使う方が画質・動きともに上です（VRAMは12〜16GB以上推奨）

＝＝＝＝＝＝＝

頭のいい人たちはいるもので、最初の画像を真っ黒にして、あとから編集でその黒いところを削除すればいいわけです。

AIに聞けば、いろいろと教えてもらえて便利です。

Google FlowでVeo3を無料で使ってみた

 YouTubeを見ていたら、偶然にGoogle FlowでVeo3を無料で使うことができるらしいと知りました。

無料大好きな私ですから、早速、Google Flowを検索し、オフィシャルサイトに行って、Googleアカウントでサイン・インしてみました。

https://labs.google/fx/ja/tools/flow

無料ですと、１００クレジットをもらえるようです。

新しいプロジェクトをクリックすると、テキストからAI動画を作成するか、フレームからAI動画を作成するかを選べます。

無料の場合には、Veo 3-Fastでも作成になり、作成する動画を横向きか縦向きかを選び、作る動画の数も、１つから４つ迄選べるようです。

一つのAI動画の長さは８秒と決められているようです。

使用するクレジットは、一つのAI動画につき２０クレジットのようです。

ですから、一日につき５つの動画までは作れるようです。

AIStudioを使うとVeo２でもAI動画が作れましたが、Veo ３は音声まで入れてくれるとのことで、前から興味を持っていましたが、無料では使えないと思っていたので、今回初めて使ってみました。

https://aistudio.google.com/

とりあえず、最初にネットにあったサンプルのpromptで作ったAI動画がこちらです。

まだ作り慣れていなくて、ちょっと音が大きいようなので、再生時の音量に気を付けてください。

無料で作ったAI動画には、右下にVeoのウォーターマークが入るようです。

もう一つは英語で話すAI動画です。

今度は、自分作ったAI画像をアップロードして簡単なプロンプトをつけて作ったAI動画がこちらです。

短いけど、なかなかいい出来じゃないかと思います。

もう一つは、自分で作ったAI画像に、もう少し複雑で、オリジナルのリップシンクをつけて、話をしてもらうAI動画を作りました。

ちょっとなまっていますが、おもしろいです。

自分で、テキストから音声を作るアプリを使えば、もっと簡単にオリジナルの音声もできますが、８秒では、限りがあります。

これから、どんどん進化していくでしょうから、無料でも、十分に面白いものが出てくるのも時間の問題でしょう。

若い人たちには、どんどん遊んで欲しいAI動画です。

FramePackでAI動画を作る

 このところFramePackを使って朝から晩までAI動画を作っています。

私のPCは非力で、GPUがNVIDIA RTX 3060とFramePackを使う環境としては、最低レベルなので、AI動画は思った以上の美しさで出来上がるのですけど、とにかく作成時間がかかります。

5～10秒程度のAI動画なら１時間から数時間でできますが、とにかくPCが熱くなるし、出来上がったものに不満でも、もう一度同じものを作るとなると、ちょっと気力が萎えます。

そしてAI動画の重要なポイントは、とにかくどのように動かすかの指示を出すpromptを考えることで、AIにお願いして、promptを作ってもらっても、なかなか思ったようには動いてくれません。

そして、AI動画を作るのなら、多少でもシンプルな動きではなく、物語性というか、画像の変化、例えば、自動車がロボットに変身するとか、着ている服のデザインや色が変わるとか、そういった簡単な変化でもいいからやってみたくなります。

同じようなことを考える人は必ずいるわけで、いろいろと調べてみたら、こんなのを見つけました。

FramePack-eichi

日本語での説明があるので、さっそく必要なものをダウンロードして入れてみたところ、問題なく使えるようです。

最初のフレームから最後のフレーム迄をうまく指示すれば、変化するAI動画を作れるはずで、早速やってみました。

まだ試行錯誤中で、なかなかうまくいかないですが、作成に必要な時間には変わりがないようです。

新しいものを見つけると、好奇心からいろいろとやってみて、苦労することもありますが、今回のFramePackに関しては、今までのところ、問題なく勉強が進んでいます。

私のYouTubeチャンネルに作ったものを順次アップしているので、よろしかったら見てやってください。

とにかく自分のPCで好きな時に好きなだけ、無料でAI動画を作ることができるということは、素晴らしいことで、こうしたものを作ってくださっている天才たちにただただ感謝です。

AI動画作成

 先日来ピノキオを使ってCogVideoをパソコンに入れて、AI動画を作ることをしてきましたが、私の非力なパソコンではとにかく時間がかかりすぎて、大変でした。

そんな中、例によって、偶然、Pyramid　flowというのを見つけてしまいました。

ピノキオからでしたら、クリック一発で導入できました。

それでテキストから動画と画像から動画をやってみたところ、どちらでも５秒の動画を５分ほどで作ってくれました。

もちろん、まだまだ出来上がったAI動画には問題もありますが、それは、他のAI作成のプログラムでも似たかよったかではないかと思います。

私は有料のものは使っていないから、もしかしたら無料と違って有料ならかなり完成度が高いのかもしれませんけどね。

ピノキオからですと、他にもいろいろな便利プログラムもあって、まだ試してはいないけど、面白そうなのがいっぱいです。

ただ、顔の入れ替えとか声を有名人にするとかの犯罪に利用されそうなものには手を出さないようにしています。

好奇心は時に一線を越えてしまいがちですからね。

AI画像生成でも、狙ったわけではないのに、ヌードの画像ができてきたりもするし、狙えば、かなり精密な性器なども描いてもらえるようです。

AI画像関係では、３D関係のデータを作って３Dプリンターで造形するってのが、まだ一般的ではないようですが、来年あたりには出てくるかも。

自分でフィギュアを作って販売とかね。

こんなに面白いAI画像やAI動画の世界、もっと多くの人が興味を持てばいいのにね。

新しい遊びを見つけてしまった

私は貧乏なので、基本無料のサービスだけを使うように心がけています。

もちろん、必要だと思えば、なるべく安いものを捜して有料でも使います。

昨年末に偶然AI生成画像を見つけて、この１年、ずっと作り続けてきていますが、それも、無料で使えるものを使ってきています。

今回も偶然に、無料でAI動画を作る方法を見つけてしまいました。

今まででも、無料でAI動画を作ることは可能でしたが、無料には透かしが入るとか、作れる動画数に制限があるとか、女性などの動画にはエッチな要素がなくてもNGが出ることもあります。

ですから、自分のパソコンで作るAI画像やAI動画は魅力的で、早く出てこないかなあと待ち続けていました。

今回見つけたのは、まずPinokioというプログラムを自分のパソコンに入れて、それにCogStudioというプログラムを入れて、そこからAI動画を作るというものだそうで、早速やってみました。

めちゃくちゃ難しそうでしたが、実は、クリック一発でインストールできるようでした。

ただし、私のパソコンが非力なためか、とにかく、めちゃくちゃ時間がかかりました。

途中で、何か問題があるのではとか、私のパソコンでは無理かもとか、いっぱい考えちゃいましたが、スッポンのように噛み付いたら離さないをモットーにパソコンいじりに関しては心がけているのでとにかく待ちました。

その結果、無事にCogStudioを起動させることに成功し、早速、テキストから動画を作るのに挑戦して、できたのがこちらでした。

作ることができる動画は６秒のものだそうです。

アニメ風の動画だったからか、思ったよりは時間はかかりませんでした。

次は、画像からその画像を動画にすることに挑戦。

元になる画像はこちら

こちらはさすがに時間がかかりそうです。

なんと３４分かかりました。たったこれだけの動きを作るために。

まだまだ改良されていくのでしょうし、これからが楽しみです。