コラムをテーマから探す

初めてお越しの方も、興味のあるテーマから過去のコラムを探してみてください。 ほかのテーマは、右側のラベル一覧やブログ内検索からお探しください。
ラベル AI動画 の投稿を表示しています。 すべての投稿を表示
ラベル AI動画 の投稿を表示しています。 すべての投稿を表示

2026年8月24日月曜日

日本語のセリフ入りのAI動画はむつかしい

 LTX-2は、私の低スペックのパソコンでも、日本語のセリフ入りのAI動画を比較的短い時間で生成できて便利です。

10秒程度のAI動画なら10分強で生成できます。

ただ、問題は、日本語の精度で、思ったようには発音してくれません。


こちらのAI動画を作ったプロンプトは、以下

A quiet train station platform at dusk. Soft orange light. A young Japanese man and a young Japanese woman stand facing each other. The woman says softly in Japanese: 「いろいろと ありがとう…ほんとうに」 The man looks down and replies: 「そろそろいくね」 She continues: 「きをつけてね」 He nods and says: 「うん…またあえるよ」 A train approaches with a low rumble. Soft wind, distant station sounds, and a quiet melancholic piano in the background. Emotional, realistic, cinematic lighting, no text.

この程度なら、まだいい方


A Japanese mature woman and her young handsome boyfriend are strolling through a park in Tokyo. The man is enticing the woman, saying in Japanese :「いいじゃないのお」 .
The woman pretends to be unwilling, saying: 「だめよだめだめ」. 
But the man persists, saying:「がまんできないよ おくさん」. Then the man pulls the woman closer and kisses her.



Two young Japanese people sitting across from each other in a small quiet cafe. The woman says hesitantly in Japanese: 「ねえ…はなしがあるの」 The man looks at her and replies: 「なに?」 She continues softly: 「ちょっと、きになることになったの」 He falls silent for a moment, then says: 「…できたのか」 Soft cafe sounds, warm indoor lighting, emotional and realistic atmosphere, no text.

これは、かなりひどい


A huge moss-covered lantern stands on the edge of an old pond surrounded by greenery. A large frog sits atop the lantern. Suddenly, the frog leaps into the pond, sending up a tremendous splash about 10 meters high. I want the frog to be depicted with realistic colors and form. A Japanese narration plays: 「ふるいけや かわず とびこむ みずのおと」 .
The sound of the splashing water is also included.

数撃ちゃなんとかで、練習あるのみでしょうね。



2026年8月17日月曜日

AI動画の進歩がすごすぎ

私: AI画像性やAI動画生成をいろいろと試してきて、わかったことは、AIの進歩のスピードが半端ではないということです。

AI画像生成は、ある程度の進歩が止まっているイメージですが、AI動画の方は半年ですっかり状況が変わってきます。

ですから、焦って有料のサブスクに手を出すと、すぐに後悔という可能性が高いと思いませんか?

Stablediffusionのようにローカルでの画像生成を無料で出来れば、失敗を恐れず、どんどん生成できますが、もしも有料のサブスクですと、失敗しても手持ちのトークンがどんどん減ってしまうことになりますよね。

AI動画では、特に、まだ完成度が低いから、思ったようには生成できないことも多いのではないですか?

特に、最近は、音声を同時に生成するものも出てきていて、料金がどんどん高くなっている傾向はどうでしょうか?

無料のFramePackやWan2では、まだ、有料にはかなわないと思うけど、お知恵拝借。


Grok:

おっしゃる通りだと思います。AI動画の進化スピードは本当に異常で、半年前の「すごい」が今では「普通」や「物足りない」になるケースが珍しくありません。

画像生成がある程度成熟してきたのに対し、動画はまだ「完成度が低い・制御が難しい・失敗が多い」フェーズなので、有料サブスクにすぐ飛びつくのはリスクが高いです。

なぜ焦って有料にすると後悔しやすいのか

失敗コストが高い:トークン制やクレジット制だと、思い通りにならない生成を繰り返すだけで残高が減ります。特に動画はプロンプト調整・シード・フレーム制御が難しく、何度も試す必要が出やすい。

機能の陳腐化が早い:音声同時生成、長いクリップ、キャラ一貫性、物理シミュレーションなどが急速に進化しているので、今入ったプランが半年後に「割高で古い」になりやすい。

料金の上昇傾向:音声付きや高解像度・長尺になると、1本あたりのコストが上がりやすい構造です。APIベースだと秒単位で0.05〜0.40ドル前後(720p〜1080p目安)というレンジが多く、失敗を重ねるとすぐにかさみます。

Stable Diffusion系でローカル画像を無料で無限に回せる感覚に近いものが、動画ではまだ限定的です。だから「失敗を恐れず試せる環境」を優先した方が、結果的に得をしやすいです。

FramePack と Wan 系について

FramePack(lllyasviel系)はかなり良い選択肢です。

消費電力GPU(6GB VRAM程度から)で長く生成できるのが強み。次フレーム予測+コンテキスト圧縮で、長さに対してVRAMがほぼ一定になる設計。

ローカルで無料(公式はオープンソース、GitHubで配布)。1分級(30fps)も狙える。

画像から動画(I2V)が得意で、プロンプト強化やLoRAなども対応が進んでいます。

ただし有料クラウドサービス(高品質・高速・音声付き)と比べると、動きの滑らかさ・細かい制御・総合クオリティではまだ差があります。生成時間もハード次第でそれなりにかかります。

Wan系(Alibabaのオープンモデル群)も強力です。

Wan 2.2あたりがオープンウェイトとしてよく使われ、Apache 2.0でローカル運用可能。

5Bクラスなら消費電力GPU(24GB前後推奨)で720pが現実的。14Bクラスはより重い。

後続のWan 2.5/2.6/2.7系は音声同期や高解像度・長尺が強化されていますが、最新の高性能版はAPI中心でクローズド寄りになっている部分もあります。

ローカルで回すなら「失敗を恐れず試せる」点でFramePackと並んで優秀。品質は有料最前線には及ばないものの、コスパと自由度は高いです。

どちらも「有料にはまだかなわない」という感覚は正しいです。特に動きの自然さ、長い一貫性、音声付きの完成度、生成速度では、Kling・Veo・Seedance・Runwayなどの有料/クラウド勢が優位な場面が多いです。

現実的な使い分けのおすすめ

まずはローカル無料で徹底的に試す

FramePackやWan 2.2系をComfyUIや専用UIで回す。失敗を無限にできるので、プロンプトの感覚や「何が苦手か」が身につきます。GPUが弱めでもFramePackは優しいです。

無料枠・低コストクラウドを併用

多くのサービスが日次クレジットやトライアルを出しています。Wan公式系のデイリー無料、Klingの日次クレジット、他にも無料枠があるツールを使い分けて「有料級の出力」を時々確認。

有料は「本当に必要な時だけ」

特定のクオリティや音声付きが必須になったら、月額ではなくクレジット/従量課金で最小限買う。

または、ローカルで下書き→クラウドで仕上げ、というハイブリッド。

半年単位でモデルが入れ替わるので、長期縛りのサブスクは避けた方が無難です。

画像側の延長で考える

すでにStable Diffusion経験があるなら、画像でしっかり構図・キャラ・スタイルを固めてからI2Vに渡すと、動画側の失敗率が下がります。FramePackはI2Vが得意なので相性が良いです。

要するに、「今すぐ有料で量産」より「ローカル+無料枠で実験を重ねて、必要になった瞬間だけ課金」の方が、後悔しにくいです。動画はまだ「試行錯誤のコスト」が本体の価値を決める段階なので、失敗を安く買える環境を優先する判断は正しいと思います。



私: 有料のサブスクに手を出す人たちのおかげで、AIが進歩し続けているという見方もあるよね。

AI開発には設備投資などに巨額の資金が必要なので、儲けさせてもらえないと進歩が止まりますよね。


Grok:

その見方はかなり正しいと思います。

AI、特に動画生成のような大規模モデルは、ただのソフト開発ではありません。学習に必要な計算資源(GPUクラスター)、電力、データ収集・クリーニング、優秀な研究者・エンジニアの人件費が桁違いにかかります。数百億円〜数千億円規模の投資が当たり前になってきています。

これを回収・再投資できる仕組みがなければ、研究は細々と続くかもしれませんが、今のような「半年で状況がガラッと変わる」レベルの加速は起きにくいです。

有料サブスクやAPI利用者が払っているお金は、直接的・間接的にその投資の燃料になっています。無料枠やオープンソースだけに頼っていると、開発側は「使われても儲からない」状態が続き、優先順位が下がったり、開発ペースが落ちたりする可能性が高いです。

実際、オープンウェイトで出されているモデル(Wan系やFramePackなど)も、背後では有料サービスや企業の利益で支えられている部分が大きいです。

一方で、すべてを有料にすればいいという単純な話でもありません。無料やローカルで遊べる環境があるからこそ、ユーザーが増え、フィードバックが集まり、新しい使い方や改善点が生まれ、結果的に全体のエコシステムが活性化します。

要するに、

有料ユーザーが「今の品質にお金を払う」ことで、次のレベルの研究開発資金が生まれる

無料・ローカルユーザーが「広く試してフィードバックを出す」ことで、実用性や方向性が磨かれる。




2026年7月26日日曜日

AI動画で遊ぶ

 7月24日に書いた無料で遊ぶAI動画の話の続きです。

Wan2というのが私の非力なパソコンでも使えそうだと知り、いろいろと試しています。

プロンプトといわれる指示する文章で作るAI動画の出来は、現在のところ、あまり出来栄えがよくありません。

色彩もどぎついですし、人物もリアルではないです。

改善する設定をいろいろと試していますが、いまだ納得できるAI動画はできていません。

ただAI動画生成にかかる時間は、メチャ短いです。

今までやっていたFramePackでは、5秒くらいのAI動画を作るだけでも数時間かかっていましたが、Wan2では、10分程度で出来上がります。

ですから短いAI動画をいくつか作って、それをビデオ編集ソフトで繋げば、もっと長いAI動画も作れますし、無料での遊びの可能性は広がりそうです。

Wan2のできることは、文章からAI動画を作るだけでなく、画像や写真からもAI動画ができるとのことで、早速やってみました。

こちらのAI画像を動かしてみました。


そして出来上がったAI動画がこちらです。


元の画像の色が動画にも反映されるようで、思ったよりもいい感じ。

このくらいなら、いろいろと遊べそうです。

最近、昔の古い写真を動かすこともお年寄りには喜ばれているとかで、こちらもビジネスチャンスかもしれません。

Wan2には、他にも設定を変えることでいろいろなことができるようなので、しばらくはお勉強です。



2026年7月24日金曜日

無料で遊べるAI動画

 基本的になんでもタダが好きなので、AI画像生成でもStable Diffusion WebUI Forgeを自分のパソコンの入れて楽しんでいますし、AI動画生成は、FramePackを使ってきています。

FramePackは、パソコンに入れてローカルで使えるので、無料だし便利なのですが、私のGPU3060では非力だから、とにかく時間がかかり過ぎます。

5秒程度のAI動画でも数時間かかってしまいます。

そこで、GoogleFlowなどを無料の範囲で使っていますが、一日に2本しか作れません。

そこで、有料のサブスクなども考えているのですが、貧乏な私には高い。

そこでGeminiに相談してみたところ、Wan2がいいのではないかということで、昨夜から、Wan2をパソコンに入れて使う方法を試しています。

導入のしかたも親切に教えてくれるし、うまくいかなかったときにも、解決方法を教えてくれるから、AIは便利です。

それで、苦労しながら導入することに成功して、初期設定と事前に入っていたプロンプトでタコのAI動画を作ってみたところ、できることはできたのですが、とにかく時間がかかりました。5秒で1時間半ほど。

そこで、今朝から、それを解決する方法をAIに聞いて試していますが、今のところ、アドバイスしてもらった設定で、5秒のAI動画を10分程度で作ることができるようになりました。

出来上がったAI動画の色調が少しどぎついから、その解決方法を聞いて、今試しています。


そして、新しい設定で作った動画は、人物の顔が、リアルではなくて平面ポイので失敗、また新しい設定を聞いてやっています。

やはり、ただで力量不足のGPUでは、苦労します。

FramePackを時間短縮できないのか、聞いてみます。



2026年1月12日月曜日

FramePackでテキストからAI動画を作る方法をAIに教えてもらった

私:

FramePackは画像からAI動画を作れますが、テキストだけではダメですよね。テキストからAI動画を作るためには、FramePackでは無理ですか?


Grok:

FramePackは基本的に「画像 + テキストプロンプト」から動画を生成するI2V(Image-to-Video)ツールとして設計・公開されています。公式のオリジナル実装(lllyasviel/FramePack)では、純粋なテキストだけ(Text-to-Video = T2V)で最初から動画を生成するのは標準ではサポートされていません。

(最初のフレームが必要で、たいていはユーザーが画像をアップロードする形です)ただし、2025年後半〜2026年現在では状況が少し変わってきていて、以下の方法でテキストだけから(ほぼT2Vのように)使うことが可能になっています。FramePackでテキストだけから動画を作る主な現実的な方法(2026年1月現在)方法


1. 真っ黒/真っ白/ノイズ画像を初期フレームとして使う

★☆☆

★★★☆☆

何でも良い(Paintで黒塗りでOK)

最も簡単。多くの人がこれで「擬似T2V」として使っている

2. FramePack-F1 + ComfyUI専用ワークフロー

★★☆

★★★★☆

ComfyUI + カスタムノード

公式より柔軟。最初のフレームがなくても動きやすい

3. FramePack Studio などのフォーク/拡張版

★★☆

★★★★☆

専用アプリ or ComfyUI

T2Vモードが明示的に入っているものが多い(黒画像自動生成など)

4. 公式のP1版(開発中/一部公開)

★★★

★★★★☆〜★★★★★

最新GitHubチェック

純粋T2Vのstress-test結果が公開されているが、まだ本格実装は限定的


おすすめの始め方(一番簡単な順)公式FramePackのWindows一括インストール版を使う(今最も手軽)黒い画像(真っ黒PNG)を「初期画像」としてアップロード

プロンプトにしっかり動きを詳細に書く(例:「A black screen slowly fades into a dancing girl in red dress, camera panning right, cinematic lighting」)

これでかなりの人が擬似テキスト→動画を実現しています


ComfyUI + FramePack-F1-T2Vカスタムノードを使うdorpxam/ComfyUI-FramePack-F1-T2V などのコミュニティノードを入れる

ここは明確にT2V設定が用意されている場合が多く、初期画像なしモードも多い


FramePack Studio(FP-Studio/framepack-studio)系「T2Vモード」対応を明記しているフォーク

黒/白/ノイズ/グリーンバック自動生成機能付きのものが多い


結論(シンプルに言うと)純粋なテキストだけ(画像ゼロ)で完璧に動く → 公式FramePack標準では無理です

でも実際には「真っ黒画像 + 詳細プロンプト」で十分実用的なT2Vとして使えます(ほとんどの人がこうしています)

本気で綺麗なT2Vがしたいなら、今はWan 2.2 T2V または HunyuanVideo 1.5 T2V をComfyUIで直接使う方が画質・動きともに上です(VRAMは12〜16GB以上推奨)

=======

頭のいい人たちはいるもので、最初の画像を真っ黒にして、あとから編集でその黒いところを削除すればいいわけです。

AIに聞けば、いろいろと教えてもらえて便利です。



2025年9月13日土曜日

Google FlowでVeo3を無料で使ってみた

 YouTubeを見ていたら、偶然にGoogle FlowでVeo3を無料で使うことができるらしいと知りました。

無料大好きな私ですから、早速、Google Flowを検索し、オフィシャルサイトに行って、Googleアカウントでサイン・インしてみました。

https://labs.google/fx/ja/tools/flow

無料ですと、100クレジットをもらえるようです。

新しいプロジェクトをクリックすると、テキストからAI動画を作成するか、フレームからAI動画を作成するかを選べます。

無料の場合には、Veo 3-Fastでも作成になり、作成する動画を横向きか縦向きかを選び、作る動画の数も、1つから4つ迄選べるようです。

一つのAI動画の長さは8秒と決められているようです。

使用するクレジットは、一つのAI動画につき20クレジットのようです。

ですから、一日につき5つの動画までは作れるようです。

AIStudioを使うとVeo2でもAI動画が作れましたが、Veo 3は音声まで入れてくれるとのことで、前から興味を持っていましたが、無料では使えないと思っていたので、今回初めて使ってみました。

https://aistudio.google.com/

とりあえず、最初にネットにあったサンプルのpromptで作ったAI動画がこちらです。

まだ作り慣れていなくて、ちょっと音が大きいようなので、再生時の音量に気を付けてください。

無料で作ったAI動画には、右下にVeoのウォーターマークが入るようです。


もう一つは英語で話すAI動画です。


今度は、自分作ったAI画像をアップロードして簡単なプロンプトをつけて作ったAI動画がこちらです。


短いけど、なかなかいい出来じゃないかと思います。

もう一つは、自分で作ったAI画像に、もう少し複雑で、オリジナルのリップシンクをつけて、話をしてもらうAI動画を作りました。

ちょっとなまっていますが、おもしろいです。

自分で、テキストから音声を作るアプリを使えば、もっと簡単にオリジナルの音声もできますが、8秒では、限りがあります。

これから、どんどん進化していくでしょうから、無料でも、十分に面白いものが出てくるのも時間の問題でしょう。

若い人たちには、どんどん遊んで欲しいAI動画です。


2025年4月23日水曜日

FramePackでAI動画を作る

 このところFramePackを使って朝から晩までAI動画を作っています。

私のPCは非力で、GPUがNVIDIA RTX 3060とFramePackを使う環境としては、最低レベルなので、AI動画は思った以上の美しさで出来上がるのですけど、とにかく作成時間がかかります。

5~10秒程度のAI動画なら1時間から数時間でできますが、とにかくPCが熱くなるし、出来上がったものに不満でも、もう一度同じものを作るとなると、ちょっと気力が萎えます。

そしてAI動画の重要なポイントは、とにかくどのように動かすかの指示を出すpromptを考えることで、AIにお願いして、promptを作ってもらっても、なかなか思ったようには動いてくれません。

そして、AI動画を作るのなら、多少でもシンプルな動きではなく、物語性というか、画像の変化、例えば、自動車がロボットに変身するとか、着ている服のデザインや色が変わるとか、そういった簡単な変化でもいいからやってみたくなります。

同じようなことを考える人は必ずいるわけで、いろいろと調べてみたら、こんなのを見つけました。

FramePack-eichi

日本語での説明があるので、さっそく必要なものをダウンロードして入れてみたところ、問題なく使えるようです。

最初のフレームから最後のフレーム迄をうまく指示すれば、変化するAI動画を作れるはずで、早速やってみました。

まだ試行錯誤中で、なかなかうまくいかないですが、作成に必要な時間には変わりがないようです。

新しいものを見つけると、好奇心からいろいろとやってみて、苦労することもありますが、今回のFramePackに関しては、今までのところ、問題なく勉強が進んでいます。

私のYouTubeチャンネルに作ったものを順次アップしているので、よろしかったら見てやってください。

とにかく自分のPCで好きな時に好きなだけ、無料でAI動画を作ることができるということは、素晴らしいことで、こうしたものを作ってくださっている天才たちにただただ感謝です。



2024年11月25日月曜日

AI動画作成

 先日来ピノキオを使ってCogVideoをパソコンに入れて、AI動画を作ることをしてきましたが、私の非力なパソコンではとにかく時間がかかりすぎて、大変でした。

そんな中、例によって、偶然、Pyramid flowというのを見つけてしまいました。

ピノキオからでしたら、クリック一発で導入できました。

それでテキストから動画と画像から動画をやってみたところ、どちらでも5秒の動画を5分ほどで作ってくれました。

もちろん、まだまだ出来上がったAI動画には問題もありますが、それは、他のAI作成のプログラムでも似たかよったかではないかと思います。

私は有料のものは使っていないから、もしかしたら無料と違って有料ならかなり完成度が高いのかもしれませんけどね。

ピノキオからですと、他にもいろいろな便利プログラムもあって、まだ試してはいないけど、面白そうなのがいっぱいです。

ただ、顔の入れ替えとか声を有名人にするとかの犯罪に利用されそうなものには手を出さないようにしています。

好奇心は時に一線を越えてしまいがちですからね。

AI画像生成でも、狙ったわけではないのに、ヌードの画像ができてきたりもするし、狙えば、かなり精密な性器なども描いてもらえるようです。

AI画像関係では、3D関係のデータを作って3Dプリンターで造形するってのが、まだ一般的ではないようですが、来年あたりには出てくるかも。

自分でフィギュアを作って販売とかね。


こんなに面白いAI画像やAI動画の世界、もっと多くの人が興味を持てばいいのにね。

2024年11月8日金曜日

新しい遊びを見つけてしまった

私は貧乏なので、基本無料のサービスだけを使うように心がけています。

もちろん、必要だと思えば、なるべく安いものを捜して有料でも使います。

昨年末に偶然AI生成画像を見つけて、この1年、ずっと作り続けてきていますが、それも、無料で使えるものを使ってきています。

今回も偶然に、無料でAI動画を作る方法を見つけてしまいました。

今まででも、無料でAI動画を作ることは可能でしたが、無料には透かしが入るとか、作れる動画数に制限があるとか、女性などの動画にはエッチな要素がなくてもNGが出ることもあります。

ですから、自分のパソコンで作るAI画像やAI動画は魅力的で、早く出てこないかなあと待ち続けていました。

今回見つけたのは、まずPinokioというプログラムを自分のパソコンに入れて、それにCogStudioというプログラムを入れて、そこからAI動画を作るというものだそうで、早速やってみました。

めちゃくちゃ難しそうでしたが、実は、クリック一発でインストールできるようでした。

ただし、私のパソコンが非力なためか、とにかく、めちゃくちゃ時間がかかりました。

途中で、何か問題があるのではとか、私のパソコンでは無理かもとか、いっぱい考えちゃいましたが、スッポンのように噛み付いたら離さないをモットーにパソコンいじりに関しては心がけているのでとにかく待ちました。

その結果、無事にCogStudioを起動させることに成功し、早速、テキストから動画を作るのに挑戦して、できたのがこちらでした。

作ることができる動画は6秒のものだそうです。


アニメ風の動画だったからか、思ったよりは時間はかかりませんでした。

次は、画像からその画像を動画にすることに挑戦。

元になる画像はこちら



こちらはさすがに時間がかかりそうです。


なんと34分かかりました。たったこれだけの動きを作るために。

まだまだ改良されていくのでしょうし、これからが楽しみです。