ここ最近、かなり恥ずかしいことに気づきました。
私はこの数か月、Personal AI Platformという、自分の作業をAIと自動化するためのシステムを作っています。記事制作、サイトの計測、開発、Knowledgeへの蓄積、改善候補の抽出、Loop Engineによる反復、Publishingへの受け渡し。少しずつ部品を増やして、かなり大きなシステムになってきました。
そして私は、かなりの部分が「自動化できてきた」と思っていました。
実際、作業量は明らかに増えています。以前なら一つずつ指示していたことが並行して進み、Pull Requestも大量に作られ、記事も公開され、アクセスデータも集まります。スマートフォンから指示を出せるようになり、さらにその操作すら減ってきました。
だから当然、システムが働いているのだと思っていました。
でも、改めてシステム全体を検証してみると、かなり違う景色が見えてきました。
システムが自律的に仕事をしていたのではなく、私とChatGPTが、システムの欠けている部分をその都度補っていたのです。
「動いている」と「自動化されている」は違った
ややこしいのは、システムそのものが完全に止まっていたわけではないことです。
現在のLoop Engineを確認すると、Memory Worker、KPI Collector、Publication Index Worker、Development Recovery Workerなど、多くのワーカーは実際に動いています。メトリクス収集も行われていますし、定期実行も存在します。システムのhealthも正常です。
つまり、配管はかなり動いています。
問題は、その上にある「何をするべきかを判断し、実行し、結果を観測して、次の判断へつなげる部分」でした。
2026年8月29日時点のLoop Engineを見ると、default_execution_modeはautoになっています。しかし自律Reasonerはconfigured=falseで、autonomous workerのheartbeatもありません。さらにEditorial Outcomeを見ると、Experimentは0、Publicationとのlinkも0、Measurementも0です。
PR #556では「editorial publishing autolink v1」という、Ownerの選択からExperiment、Publishing、Outcomeへつなげるための仕組みも追加しました。
ところが、今のところ実際のEditorial Outcomeでは、
Experiment → Publication → Measurement
という一本の観測可能なループが成立している証拠がありません。
ここが、今回かなり大きかったところです。
実際にはChatGPTがオーケストレーターになっていた
では、なぜ私は「動いている」と思っていたのでしょうか。
改めて自分の作業を分解すると、答えはかなり単純でした。
私がChatGPTに「次は何をする？」と聞きます。ChatGPTがシステムの状態を見ます。そして「次はこれをやりましょう」と判断します。私は承認します。ChatGPTがDevelopment MCPを使って開発を進めます。Pull Requestができます。私がマージを承認します。次にChatGPTがPublishing MCPを呼び、記事を公開します。そしてまた私が「次は？」と聞きます。
非常に効率は良いです。
以前と比べれば、人間が行っていた作業のかなりの部分をAIが肩代わりしています。
ただし、これはよく見ると、
人間 → ChatGPT → MCP → システム
という流れです。
本来作ろうとしていた、
システム → 判断 → 実行 → 観測 → 学習 → 次の判断
という閉ループとは違います。
重要な判断のかなりの部分が、システムの外側にいるChatGPTによって行われていました。
私はChatGPTを使ってシステムを操作しているうちに、いつの間にか「ChatGPTがうまく操作できていること」と「システムが自動化されていること」を混同していました。
人間が優秀なほど、壊れた自動化は見つけにくい
これは少し面白い現象でもあります。
システムの途中に問題があっても、人間がすぐに補えば最終的な成果物は完成します。
記事は公開されます。PRもマージされます。データも取れます。
結果だけを見ると成功です。
すると、「システムは正常に機能した」と考えてしまいます。
しかし実際には、
システムが成功した
のではなく、
システムが失敗しかけるたびに、人間が補正した結果として成功した
だけかもしれません。
しかも今回は、その人間側にChatGPTが加わっています。
ChatGPTはかなり柔軟なので、「本来ここはLoopが判断するはず」「本来これは別のワーカーが渡すはず」といった欠落があっても、会話の流れから推測して処理してしまいます。
そのため、従来のソフトウェア以上に問題が見えにくくなります。
エラーで止まってくれれば分かりやすいのですが、AIはかなりの範囲を勝手に埋めてしまいます。
AIが優秀であるほど、システムの欠陥をAI自身が隠してしまう可能性がある。
これは今回初めて強く実感しました。
PRの数も、機能している証拠ではなかった
もう一つ、自分が引っかかったのが開発速度です。
ここ最近、Pull Requestの数が急激に増えています。以前とは比較にならない速度でシステムが拡張されています。
当然、私は「開発が進んでいる」と感じます。
これは間違いではありません。
ただし、
コードが増えていることと、目的としていたシステムが機能していることは別です。
Workerを作った。APIを作った。Queueを作った。Dashboardを作った。Capabilityを増やした。
これらはすべて進捗です。
しかし最終的に確認するべきなのは、
Owner Selection → Experiment → Publishing → Outcome
のような、本来成立してほしい一本の経路が実際に通っているかです。
途中の部品が100個あっても、最後まで一本につながっていなければ、目的から見れば未完成です。
これは研究にも少し似ています。
PCRが動いた。シークエンスも読めた。解析プログラムも走った。
それぞれが成功していても、それだけでは最初の仮説が証明されたことにはなりません。
私はシステム開発で、かなり似たことをやっていました。
Automation Theater
今回の状態を表す言葉として、かなりしっくりきたのが「Automation Theater」です。
自動化されているように見える。
Workerがいます。Queueがあります。Schedulerがあります。AI Agentがあります。Dashboardがあります。
でも、人間がいなくなると重要な判断が止まる。
さらに悪い場合、人間が裏で大量に判断しているのに、それがシステム上では観測されません。
見た目は自動化されていますが、実態はかなり手動です。
今回の私のシステムも、全部がAutomation Theaterだったとは思いません。実際に自動化できている部分もかなりあります。
問題は、どこまでが本当に自動化されていて、どこから人間が補っているのかを、私自身が正確に区別できていなかったことです。
これはかなりまずい。
システムを改善しようとしても、人間が暗黙に補完している部分が観測されていなければ、改善対象そのものを見つけられないからです。
これからは「手を離しても動くか」を見る
今回から、システムを見る基準を少し変えることにしました。
「機能が存在するか」ではなく、
その経路が実際に最後まで通った証拠があるか。
「Workerが起動しているか」ではなく、
そのWorkerが最終目的に何を寄与したか。
「AIが処理できたか」ではなく、
その判断はシステム内部で行われたのか、それともChatGPTが会話の中で補ったのか。
そして一番分かりやすいテストは、おそらくこれです。
私が何もしなかったら、どこで止まるのか。
これは今後かなり重要なテストになると思っています。
止まった場所こそ、本当のHuman-in-the-loopです。
Human-in-the-loop自体が悪いわけではありません。むしろ最終判断を人間が行うべき場所もあります。
ただし、それは意図的なHuman-in-the-loopでなければいけません。
「気づいたら人間が穴を埋めていた」は、自動化ではありません。
かなり恥ずかしい。でも、今気づいてよかった
かなり長い間、「システムがうまく動くようになってきた」と書いてきました。
実際、成果物は増えていますし、開発速度も上がっています。
そこは嘘ではありません。
でも今振り返ると、その一部については、
システムが賢くなったというより、私がChatGPTを使ってシステムの穴を埋めるのがうまくなった
という方が正確だったと思います。
なかなか恥ずかしい話です。
ただ、この違いに気づいたことで、次に何を作るべきかはかなり明確になりました。
新しい機能を増やす前に、まず観測する。
Ownerが何を選んだのか。なぜそのExperimentが作られたのか。何がPublishingへ渡ったのか。公開後に何が起きたのか。そのOutcomeによって次の判断がどう変わったのか。
この一本を、後から説明できる状態にする必要があります。
そして、人間やChatGPTが途中を補ったなら、それも記録する。
今まで私は、自動化システムを作っているつもりでした。
どうやら先に作るべきだったのは、
「本当に自動化されているのかを証明できるシステム」
だったようです。
この失敗は、Personal AI Platform開発記録の連載にも、いずれ確実に入ってくると思います。
ただ、これは連載の一工程として埋めるには少し大きな出来事でした。
なので、2026年8月29日時点の記録として、単独で残しておきます。
コメント