生成AIでどこまでいけるのか研究リターンズ2.1これまでの
Spineモデルの構築は大体出来たので 次は汎用的なマップ作製をAIにぶん投げて構築できるようにしたい AIとLdtkを連動させオートタイル連動でビジュアル的な配置を行うまでを想定する
日本のCF界隈でロジックのAI利用を散見した。 これには元々構想はあったので疑似的なMCPサーバーの構築に着手したもののこれが中々上手く行かない。 仕方が無いのでAI課金してみたものの、それでも上手く行かない。 解析と構築に加えリファインに手戻りを何度も行き来するので 作るものが決まっている開発とは違い中々コンテキストの維持ができないようだ。 どうしたものかと試行錯誤中
AI利用プログラミングもジワジワ続けていると コンテキスト霧散のタイミングが見えてくる… 機能の追加もしくは、関連が薄い話題に飛んだ際に一気に起こる傾向がある。 傾向が見えるとやり方もまた思いつく。 なんというか、話題の中心・関連の記憶にリソースを割き、 関連性の薄い話題を忘れるようにしているということなのだろう。 話題の統一性という点で見ても解析と実装&改良はなかなかコンテキストの維持が難しいわけだ。
疑似MCPサーバーはどうやって実現するのかというとクリップボードの仕組みを応用する これは他のソフトでも応用が利くハックテクニックとなるだろう。 クリップボードには貼り付けられる文字や画像といったシステム共通の物とは別に 独自のバイナリ情報を埋め込むことが出来、これがソフト別のオリジナルなコピペの機能として実装できる訳だが このオリジナルのバイナリ情報を、無理矢理文章情報から再構築すれば理論上MCPが可能という訳で これをAIが出力する文章に掛ければ万事解決という寸法である。 (理屈上は出来ているのだが再現実装がまだ上手く行っていない)
動くまでの物ができるにはまだまだ掛かりそうだ。 頭の中ではAIによるLLMのロジック回答をNotebookLM等を通じて完全な構文として出力させ それをMCP用コンパイラを通じてCFに流し込む事で動作…と 理屈上全て繋がるところまでの理屈は出来ているがこれを中々実現できるだけの時間がはたしてあるだろうか (コード支援AIのリミットもあっという間に尽きてしまう) これはコードベース(言語ベース)ではない ビジュアルプログラミングの未来の形にもなりそうだ(たぶん)
我ながら面白い試みだと感じているがAI課金枠が完全に尽きてしまっているので残念ながら暫し中断… 日本語構文解析とCFバイナリ解析とコード生成を併用しているが流石にヘビー過ぎているようだ。まぁ忘れた頃に若干進んでいるかもしれないしそうでないかもしれない。
紆余曲折あったがコンパイラはほぼ完成。 標準的な命令とアクティブオブジェクトに関する命令は殆どテキストから再現できるようになった。 (自作のエクステンションもいくつか対応させた) 次はAIがCF文法に則ったロジックを出力できるようにする仕様書の拡充になる。 これもAIに作らせているので殆ど出来上がってはいるが -------------------------------------------------------------------------------- # CF2.5 AI Agentic Coding Reference このドキュメントは、AIがCF2.5向けの命令文(Event Text)を生成するための全仕様書です。 ### conditionRules #### `ARR_COND_END_OF_X` X軸のループ(インデックス)が最後に達したかを判定します。 **構文:** `[TARGET_OBJECT] : X 軸のインデックスが最後` #### `ARR_COND_END_OF_Y` Y軸のループ(インデックス)が最後に達したかを判定します。 **構文:** `[TARGET_OBJECT] : Y 軸のインデックスが最後` #### `ARR_COND_END_OF_Z` Z軸のループ(インデックス)が最後に達したかを判定します。 **構文:** `[TARGET_OBJECT] : Z 軸のインデックスが最後` ### actionRules #### `ARR_ACT_CLEAR` 配列をクリア(初期化)します。 **構文:** `[TARGET_OBJECT] : 配列をクリア` #### `ARR_ACT_WRITE_STRING_XYZ` 文字列を配列のXYZ軸に書き込みます。 **構文:** `[TARGET_OBJECT] : 文字列 [STRING_EXPR_1] を ([EXPRESSION_1], [EXPRESSION_2], [EXPRESSION_3]) に書き込み` -------------------------------------------------------------------------------- もう一手突っ込んだ処理として サンプルプログラムの文法集をどうやって集めるか これらとCF用のフォーラムアーカイブデータらも組み合わせて行けば それなりのデータセットが用意できそうな気がしている。 強化の為にDiscordデータも欲しい。 しかしながら目指すところにはまだまだ色々足りないようだ。 (知恵も資金も時間も)
Aider拡張CF構文化計画…
脱線する。 "これまでの"にあるが、あれもまだまだ継続してはいる。 もう一年以上ガチャガチャとやっているものの、まだ先が見えない。 スポットでは上手く行きつつある部分もあるので進んでいると言えば進んでいるようにも見えるが なんとも完成までの壁が分厚い。帽子や輪郭といったパーツの3次元トレース (これは画像切り替え方式では無いのでフレーム間のヌルヌルは健在)
AIによるツール化元映像
Spine再現(まだまだ)
しかし人型に非ずんば検出もままならず。
![]()
自立型エージェントであるQwenCodeを使って ローカルLLMからCFコンパイラを通したCFの制作に進みたい。 それにしてもAIで作成した言語ベースのソースコードは量が膨大過ぎて全く読む気がしないが CFのようなビジュアルベースのコードであれば1つの命令に機能的な意味が集約するのできっと読みやすいはずだ。 必要なピースは揃えつつあるがあと一歩足りぬ。
アニメ絵で無くとも検出できるAIモデルで人外も取り込む事が出来た。 Spineツールは人が操作し構築する上で最適化されているが そもそも純粋にSpineの作り方を遵守する必要もないのではないかと思ったので 実験的にフルパッチ型モーフィングを組んでみた。変化量を計測しパラパラアニメの中間を頂点移動で補完するというやり方だ。 まあこれはこれ。これも若干脱線ではある。
自動で切り出している以上ノイズに誤検知てんこ盛り。 使えそうな使え無さそうな、そんな塩梅。 モデルが悪いだけかもしれんがまぁ動いているからヨシ
画像認識を併用し、これをメッシュ内頂点として割り当てることで テクスチャに描き込まれている模様の揺れ自体にシームレスな変形が掛けられるようになった。特に元動画には名札が揺れる動きがあるが一つ前の結果よりの滑らかになっている事が変わるだろう。 (メッシュ内まで配慮していない為カクッと戻ったりしている) 特徴点の頂点化&追従によって、全体的な滑らかさは向上したようにも見える。 これは生成AI動画ベースだが、適当なところで手書きアニメやドット系を取り込み どこまで滑らかに追従するかテストしてみたいとも考えている。 これも若干脱線ではある。
ヨシッ
ガウシアンスプラッティングを取り入れ、猫はモフモフに髪の毛はサラサラに![]()
ニューラルレンダリングの実装で環境光による自然表現の実施 超高速で朝昼晩の自然推移![]()
プロシージャル・セルラーノイズによる水濡れと水滴表現※降りしきる雨はただの掛け合わせです
![]()
検出したノーマルマップに波形パターンを合わせ風の揺らぎを表現![]()
これでアイドルモーションでも視覚上異なったものに見えるようになる。 こういうのには物理を組み合わせるのが鉄板なのかもしれないが、複合するとより良い物になるかもしれない。 (もはや人間業ではない)
パーツ別けしてあるといくらでもエフェクトが掛け合わせられる事に気が付いた。
脱線し雪中行軍を実験する![]()
アメコミトーンとセルアニメ(多段RAMP)
風なびき降雪凍結アニメーション タイトル:[ジュエルセイバーFREE] URL:[http://www.jewel-s.jp/] これまでのものも2Dイラストを 概念上3D化し3Dとしてのシェーダー適用に落とし込んだりしてみているのだが中々面白いね。
せっかくなので上記まででも出し切れていない色々なエフェクトも含め、AI経由でTextSpriteへ転用し文字エフェクト化してみた。…きちんとソースコードを監督すると、この処理はこれまでのシェーダーから一転し ソフトウェアレンダリングによる再現が行われているという中々の強者っぷりだった(ヤバイ) こういった処理を全体に掛けてしまうと非常に重くなる訳だがまぁこれはこれで時代的に見守ってしまっても良いのかもしれない
雪中行軍2 謎技術と掛け合わせて積雪エフェクトを構築した。※AI製の木なのでなんとなくキモイ 雪中行軍1は初期実験だったのだが MCP連動によりAIによってサンプルコードの生成に成功。 構想的にはブリッジ用アプリケーションにスクリーン状況を読ませ状態判別しソフト操作をさせるような形だが AI曰くPCの操作は強固なサンドボックス機構で保護されている為、ユーザーのPCを直接操作することはできないそうだが ユーザーの手によって起動された遠隔用アプリを内部通信から操作することで完全なコントロールが実現できるだろう という事だったのでやってみた所、できてしまった。 (仕組み自体はAIに関係なく昔からある遠隔マルウェアみたいなものだが…複雑な気分である) しかし…サンプルを作れという指示が悪かっただけだが生成されたコードは中々頭の悪いものだった。 (勿論Spineモジュールも指示通り使いこなしているので頭は良いのだろう)
そしてこの木のオブジェクトもまだまだ進化の余地があり 1枚絵から別のAIを使いフル3D化させ、葉のメッシュの法線情報を取ることで 奥行のある揺れ方、より自然な降雪アニメーションにもできるというアイデアもあるのだが AI利用の課金が切れてしまったのでここで強制終了。 アイデアはまだまだあるのだが色々足りない。 丁度良いのでしばらくスポット仕事で日銭を稼ぐ作業に勤しむ事にする(完)
強化が楽しくてやめられん…。(追加課金)既存のSpineデータも3D化法線マッピングエフェクト乗せ
いよいよ学習データに無い未踏領域に差し掛かってしまったのか 推論精度の低下と回答時間がやたら掛かるようになってしまった(CFMCPを経由した場合) なるほどなるほど…
ActiveImageCanvasとLDtk内部を仮想マップ化し、 領域外画像を圧縮テクスチャとして保持する事に成功。 これでVRAMは実質表示している量のみ使用され、(512x512のタイル並べ) 領域外画像には圧縮保持されるという超ハイブリットな代物になった。 空白地帯は特に圧縮率が高い為20000x20000といった画像でも運用できるだろう。 これにマップ破壊後データを焼き込めば 多種多様な表現が一定負荷で且つ、使い勝手はそのままで可能となる。![]()