コラムをテーマから探す

初めてお越しの方も、興味のあるテーマから過去のコラムを探してみてください。 ほかのテーマは、右側のラベル一覧やブログ内検索からお探しください。
ラベル FramePack の投稿を表示しています。 すべての投稿を表示
ラベル FramePack の投稿を表示しています。 すべての投稿を表示

2026年8月17日月曜日

AI動画の進歩がすごすぎ

私: AI画像性やAI動画生成をいろいろと試してきて、わかったことは、AIの進歩のスピードが半端ではないということです。

AI画像生成は、ある程度の進歩が止まっているイメージですが、AI動画の方は半年ですっかり状況が変わってきます。

ですから、焦って有料のサブスクに手を出すと、すぐに後悔という可能性が高いと思いませんか?

Stablediffusionのようにローカルでの画像生成を無料で出来れば、失敗を恐れず、どんどん生成できますが、もしも有料のサブスクですと、失敗しても手持ちのトークンがどんどん減ってしまうことになりますよね。

AI動画では、特に、まだ完成度が低いから、思ったようには生成できないことも多いのではないですか?

特に、最近は、音声を同時に生成するものも出てきていて、料金がどんどん高くなっている傾向はどうでしょうか?

無料のFramePackやWan2では、まだ、有料にはかなわないと思うけど、お知恵拝借。


Grok:

おっしゃる通りだと思います。AI動画の進化スピードは本当に異常で、半年前の「すごい」が今では「普通」や「物足りない」になるケースが珍しくありません。

画像生成がある程度成熟してきたのに対し、動画はまだ「完成度が低い・制御が難しい・失敗が多い」フェーズなので、有料サブスクにすぐ飛びつくのはリスクが高いです。

なぜ焦って有料にすると後悔しやすいのか

失敗コストが高い:トークン制やクレジット制だと、思い通りにならない生成を繰り返すだけで残高が減ります。特に動画はプロンプト調整・シード・フレーム制御が難しく、何度も試す必要が出やすい。

機能の陳腐化が早い:音声同時生成、長いクリップ、キャラ一貫性、物理シミュレーションなどが急速に進化しているので、今入ったプランが半年後に「割高で古い」になりやすい。

料金の上昇傾向:音声付きや高解像度・長尺になると、1本あたりのコストが上がりやすい構造です。APIベースだと秒単位で0.05〜0.40ドル前後(720p〜1080p目安)というレンジが多く、失敗を重ねるとすぐにかさみます。

Stable Diffusion系でローカル画像を無料で無限に回せる感覚に近いものが、動画ではまだ限定的です。だから「失敗を恐れず試せる環境」を優先した方が、結果的に得をしやすいです。

FramePack と Wan 系について

FramePack(lllyasviel系)はかなり良い選択肢です。

消費電力GPU(6GB VRAM程度から)で長く生成できるのが強み。次フレーム予測+コンテキスト圧縮で、長さに対してVRAMがほぼ一定になる設計。

ローカルで無料(公式はオープンソース、GitHubで配布)。1分級(30fps)も狙える。

画像から動画(I2V)が得意で、プロンプト強化やLoRAなども対応が進んでいます。

ただし有料クラウドサービス(高品質・高速・音声付き)と比べると、動きの滑らかさ・細かい制御・総合クオリティではまだ差があります。生成時間もハード次第でそれなりにかかります。

Wan系(Alibabaのオープンモデル群)も強力です。

Wan 2.2あたりがオープンウェイトとしてよく使われ、Apache 2.0でローカル運用可能。

5Bクラスなら消費電力GPU(24GB前後推奨)で720pが現実的。14Bクラスはより重い。

後続のWan 2.5/2.6/2.7系は音声同期や高解像度・長尺が強化されていますが、最新の高性能版はAPI中心でクローズド寄りになっている部分もあります。

ローカルで回すなら「失敗を恐れず試せる」点でFramePackと並んで優秀。品質は有料最前線には及ばないものの、コスパと自由度は高いです。

どちらも「有料にはまだかなわない」という感覚は正しいです。特に動きの自然さ、長い一貫性、音声付きの完成度、生成速度では、Kling・Veo・Seedance・Runwayなどの有料/クラウド勢が優位な場面が多いです。

現実的な使い分けのおすすめ

まずはローカル無料で徹底的に試す

FramePackやWan 2.2系をComfyUIや専用UIで回す。失敗を無限にできるので、プロンプトの感覚や「何が苦手か」が身につきます。GPUが弱めでもFramePackは優しいです。

無料枠・低コストクラウドを併用

多くのサービスが日次クレジットやトライアルを出しています。Wan公式系のデイリー無料、Klingの日次クレジット、他にも無料枠があるツールを使い分けて「有料級の出力」を時々確認。

有料は「本当に必要な時だけ」

特定のクオリティや音声付きが必須になったら、月額ではなくクレジット/従量課金で最小限買う。

または、ローカルで下書き→クラウドで仕上げ、というハイブリッド。

半年単位でモデルが入れ替わるので、長期縛りのサブスクは避けた方が無難です。

画像側の延長で考える

すでにStable Diffusion経験があるなら、画像でしっかり構図・キャラ・スタイルを固めてからI2Vに渡すと、動画側の失敗率が下がります。FramePackはI2Vが得意なので相性が良いです。

要するに、「今すぐ有料で量産」より「ローカル+無料枠で実験を重ねて、必要になった瞬間だけ課金」の方が、後悔しにくいです。動画はまだ「試行錯誤のコスト」が本体の価値を決める段階なので、失敗を安く買える環境を優先する判断は正しいと思います。



私: 有料のサブスクに手を出す人たちのおかげで、AIが進歩し続けているという見方もあるよね。

AI開発には設備投資などに巨額の資金が必要なので、儲けさせてもらえないと進歩が止まりますよね。


Grok:

その見方はかなり正しいと思います。

AI、特に動画生成のような大規模モデルは、ただのソフト開発ではありません。学習に必要な計算資源(GPUクラスター)、電力、データ収集・クリーニング、優秀な研究者・エンジニアの人件費が桁違いにかかります。数百億円〜数千億円規模の投資が当たり前になってきています。

これを回収・再投資できる仕組みがなければ、研究は細々と続くかもしれませんが、今のような「半年で状況がガラッと変わる」レベルの加速は起きにくいです。

有料サブスクやAPI利用者が払っているお金は、直接的・間接的にその投資の燃料になっています。無料枠やオープンソースだけに頼っていると、開発側は「使われても儲からない」状態が続き、優先順位が下がったり、開発ペースが落ちたりする可能性が高いです。

実際、オープンウェイトで出されているモデル(Wan系やFramePackなど)も、背後では有料サービスや企業の利益で支えられている部分が大きいです。

一方で、すべてを有料にすればいいという単純な話でもありません。無料やローカルで遊べる環境があるからこそ、ユーザーが増え、フィードバックが集まり、新しい使い方や改善点が生まれ、結果的に全体のエコシステムが活性化します。

要するに、

有料ユーザーが「今の品質にお金を払う」ことで、次のレベルの研究開発資金が生まれる

無料・ローカルユーザーが「広く試してフィードバックを出す」ことで、実用性や方向性が磨かれる。




2026年1月12日月曜日

FramePackでテキストからAI動画を作る方法をAIに教えてもらった

私:

FramePackは画像からAI動画を作れますが、テキストだけではダメですよね。テキストからAI動画を作るためには、FramePackでは無理ですか?


Grok:

FramePackは基本的に「画像 + テキストプロンプト」から動画を生成するI2V(Image-to-Video)ツールとして設計・公開されています。公式のオリジナル実装(lllyasviel/FramePack)では、純粋なテキストだけ(Text-to-Video = T2V)で最初から動画を生成するのは標準ではサポートされていません。

(最初のフレームが必要で、たいていはユーザーが画像をアップロードする形です)ただし、2025年後半〜2026年現在では状況が少し変わってきていて、以下の方法でテキストだけから(ほぼT2Vのように)使うことが可能になっています。FramePackでテキストだけから動画を作る主な現実的な方法(2026年1月現在)方法


1. 真っ黒/真っ白/ノイズ画像を初期フレームとして使う

★☆☆

★★★☆☆

何でも良い(Paintで黒塗りでOK)

最も簡単。多くの人がこれで「擬似T2V」として使っている

2. FramePack-F1 + ComfyUI専用ワークフロー

★★☆

★★★★☆

ComfyUI + カスタムノード

公式より柔軟。最初のフレームがなくても動きやすい

3. FramePack Studio などのフォーク/拡張版

★★☆

★★★★☆

専用アプリ or ComfyUI

T2Vモードが明示的に入っているものが多い(黒画像自動生成など)

4. 公式のP1版(開発中/一部公開)

★★★

★★★★☆〜★★★★★

最新GitHubチェック

純粋T2Vのstress-test結果が公開されているが、まだ本格実装は限定的


おすすめの始め方(一番簡単な順)公式FramePackのWindows一括インストール版を使う(今最も手軽)黒い画像(真っ黒PNG)を「初期画像」としてアップロード

プロンプトにしっかり動きを詳細に書く(例:「A black screen slowly fades into a dancing girl in red dress, camera panning right, cinematic lighting」)

これでかなりの人が擬似テキスト→動画を実現しています


ComfyUI + FramePack-F1-T2Vカスタムノードを使うdorpxam/ComfyUI-FramePack-F1-T2V などのコミュニティノードを入れる

ここは明確にT2V設定が用意されている場合が多く、初期画像なしモードも多い


FramePack Studio(FP-Studio/framepack-studio)系「T2Vモード」対応を明記しているフォーク

黒/白/ノイズ/グリーンバック自動生成機能付きのものが多い


結論(シンプルに言うと)純粋なテキストだけ(画像ゼロ)で完璧に動く → 公式FramePack標準では無理です

でも実際には「真っ黒画像 + 詳細プロンプト」で十分実用的なT2Vとして使えます(ほとんどの人がこうしています)

本気で綺麗なT2Vがしたいなら、今はWan 2.2 T2V または HunyuanVideo 1.5 T2V をComfyUIで直接使う方が画質・動きともに上です(VRAMは12〜16GB以上推奨)

=======

頭のいい人たちはいるもので、最初の画像を真っ黒にして、あとから編集でその黒いところを削除すればいいわけです。

AIに聞けば、いろいろと教えてもらえて便利です。



2025年4月23日水曜日

FramePackでAI動画を作る

 このところFramePackを使って朝から晩までAI動画を作っています。

私のPCは非力で、GPUがNVIDIA RTX 3060とFramePackを使う環境としては、最低レベルなので、AI動画は思った以上の美しさで出来上がるのですけど、とにかく作成時間がかかります。

5~10秒程度のAI動画なら1時間から数時間でできますが、とにかくPCが熱くなるし、出来上がったものに不満でも、もう一度同じものを作るとなると、ちょっと気力が萎えます。

そしてAI動画の重要なポイントは、とにかくどのように動かすかの指示を出すpromptを考えることで、AIにお願いして、promptを作ってもらっても、なかなか思ったようには動いてくれません。

そして、AI動画を作るのなら、多少でもシンプルな動きではなく、物語性というか、画像の変化、例えば、自動車がロボットに変身するとか、着ている服のデザインや色が変わるとか、そういった簡単な変化でもいいからやってみたくなります。

同じようなことを考える人は必ずいるわけで、いろいろと調べてみたら、こんなのを見つけました。

FramePack-eichi

日本語での説明があるので、さっそく必要なものをダウンロードして入れてみたところ、問題なく使えるようです。

最初のフレームから最後のフレーム迄をうまく指示すれば、変化するAI動画を作れるはずで、早速やってみました。

まだ試行錯誤中で、なかなかうまくいかないですが、作成に必要な時間には変わりがないようです。

新しいものを見つけると、好奇心からいろいろとやってみて、苦労することもありますが、今回のFramePackに関しては、今までのところ、問題なく勉強が進んでいます。

私のYouTubeチャンネルに作ったものを順次アップしているので、よろしかったら見てやってください。

とにかく自分のPCで好きな時に好きなだけ、無料でAI動画を作ることができるということは、素晴らしいことで、こうしたものを作ってくださっている天才たちにただただ感謝です。