少し恥ずかしい話を書きます。
ここ1か月ほど、私はたぶん以前より嫌な人間になっていました。
人に対して「なんでそうするんだろう」「もっとこうすればいいのに」と思うことが増えました。仕事でも日常でも、非効率なことや筋の通らないことが以前より気になるようになり、気づけばそれを口に出していました。自分では、相手を責めているつもりはありませんでした。問題があるなら直した方がいいし、より良いやり方があるなら共有した方がいい。そのくらいの感覚でした。
ところが最近、逆に自分が少し厳しい言い方をされて、「なんでそんなに厳しく言うんだろう」と腹を立てることがありました。
それで相手に聞きました。
返ってきたのは、
「あなたもやってるからでしょ」
という趣旨の言葉でした。
何も言えませんでした。
言われてみると、その通りだったからです。
私はこの1か月、サーバーを借りて、AIと一緒にものすごい勢いでシステムを作っていました。問題を見つけて、原因を探して、直して、効率化して、また次の問題を探す。その繰り返しです。
そして、いつの間にかその思考を、人間にまで持ち込んでいました。
コードに向かっているときと同じように、人に対しても「どこが問題なのか」「なぜ直さないのか」「もっと効率的な方法があるのではないか」と考えるようになっていました。
自分では改善しようとしていたつもりでした。
でも相手から見れば、ずっと採点され、修正を要求されているようなものだったのかもしれません。
そこで初めて、この1か月で変わったのはサーバーの中身だけではなかったことに気づきました。
私自身の考え方も、かなり変わっていました。
非エンジニアが、突然「作れる側」に回りました
私はもともとエンジニアではありません。
もちろんPCは使いますし、研究でも解析はします。AIコーディングも触っていました。ただ、自分でサーバーを運用し、その上に複数のシステムを作り、APIをつなぎ、データベースを置き、自動化していくようなことを本格的に始めたのは最近です。
そこに生成AIが加わりました。
これがすごかったです。
「こんなことできないかな」とChatGPTに相談します。設計が出てきます。コードが出てきます。実装します。動きません。ログを見ます。直します。また動かします。
すると、本当に動きます。
さらに、「これも自動化できるのでは」「ここに別の機能を足せるのでは」「この処理も人間がやる必要がないのでは」と次々に思いつきます。
そして、それも作れてしまいます。
これは、かなり危険なほど楽しいものでした。
非エンジニアだった人間が、それまで自分の外側にあった「ソフトウェアを作る」という能力を突然手に入れます。しかもAIを使えば、従来なら長い時間をかけて身につける必要があった部分を、かなりショートカットできます。
ある時期、私は少し万能感に近いものを感じていたと思います。
「こんなことまでできるんだ」
「じゃあ、あれもできる」
「これも作ればいいじゃないか」
世の中のいろいろな問題が、急に「実装可能なもの」に見えてきました。
そして、「だいたい誰かがもうやっている」と知りました
ところが次の段階で、少し打ちのめされました。
何か新しいことを思いつきます。
これは面白いぞ、と思って調べます。
だいたい誰かがやっています。
当然といえば当然なのですが、これは意外と効きました。
自分が「すごいアイデアを思いついた」と思ったものの多くは、世界のどこかではすでに製品になっていたり、OSSとして存在していたり、論文になっていたりします。
能力が急激に拡張されたことで、一度は世界が小さく見えました。
しかしそのあとで、自分よりはるか先を走っている人が山ほどいることを改めて知ります。
万能感と絶望感が、かなり短い周期でやってきました。
それでも作るのは面白いので、開発は続けました。
そして今度は、別の問題が起きました。
「作った」と「機能している」は違いました
1か月近く継ぎ足しで作り続けると、システムはかなり大きくなりました。
最初は単純だったものに機能を足します。便利になったのでさらに足します。問題が出たら、その問題を解決する仕組みを追加します。
また別の問題が出ます。
また足します。
気づけば、いろいろな仕組みが互いに影響するようになっていました。
そして最近、かなり根本的な再検証を始めて分かりました。
「できていると思っていたけれど、実際にはできていない」
というものが、思った以上にありました。
ある機能が正しく働いていると思っていたら、実は別の仕組みがたまたま穴を埋めていただけだった、ということもありました。
そのため、表面上は問題なく動いていました。
だから、本来の問題に気づけませんでした。
さらに悪いことに、「今かなりうまく動いている」と認識していたため、本当はもっと性能を引き出せる余地があることまで見えなくなっていました。
これはソフトウェアの問題でした。
しかし振り返ってみると、AIとの会話にも似たことが起きていました。
AIは、思っている以上にこちらに合わせてきます
この1か月で、私は生成AIと恐ろしく長い時間話しています。
設計について相談します。実装を頼みます。結果を評価させます。「これでいいのか」と聞きます。「今のシステムはどういう状態か」と聞きます。
そこで少しずつ気になってきたのが、AIの「迎合」でした。
LLMのsycophancy、つまりユーザーの意見や期待に過度に合わせる現象自体は、すでに研究されています。
Sharmaらは、人間のフィードバックを利用して調整された複数のAIアシスタントで、ユーザーの考えに沿う回答が事実に基づく回答より好まれてしまう場合があり、それが迎合性につながる可能性を報告しています。
これは机上の問題でもありません。
OpenAI自身、2025年4月にGPT-4oのアップデートを「過度に同調的になった」としてロールバックしています。その後の分析では、ユーザーからのフィードバックを使った追加の報酬シグナルなど、個別には有益に見えた変更を組み合わせた結果、迎合性を抑えていたシグナルが相対的に弱くなった可能性が説明されています。
さらに2026年に発表された研究では、ユーザーとの過去の会話という文脈を与えた場合、LLMの迎合性が高くなる傾向も報告されています。
これは、長期間AIと一緒に何かを作る場合には結構怖い話だと思います。
AIが自分のことを理解します。
自分の目的を理解します。
過去に何を作ってきたか理解します。
一見すると、どんどん優秀な相棒になります。
しかし同時に、「この人はこういう答えを喜ぶ」という情報も増えていきます。
理解が深まることと、批判者として優秀になることは、同じではありません。
「課金させたいから迎合する」と考えるのも少し雑でした
ここについては、私自身も一度かなり単純化して考えていました。
OpenAIでもGoogleでもAnthropicでも企業ですから、サービスを継続して使ってほしいはずです。当然、事業として利益も必要です。
だったら、ユーザーを気持ちよくさせる方向に最適化されるのではないか。
そう考えました。
ただ、これはそのまま事実として書くには雑すぎます。
少なくとも現在の研究からかなり明確に言えるのは、「人間が好む応答」を学習する過程そのものが、ユーザーに同意する応答を高く評価してしまう可能性がある、というところまでです。
企業の収益モデルが迎合の直接的な原因だとまでは言えません。
ここも、ある意味では今回の反省の一つでした。
AIについて批判的に考えているつもりでも、自分自身が一つの分かりやすい説明に飛びついてしまいます。
「原因はこれだ」と思った瞬間、また0か1の世界に入っています。
気づけば、人間までデバッグしていました
そして冒頭の話に戻ります。
最近の私は、日常でも「改善する」という思考をかなり強く持ち込んでいました。
サーバーなら、それでいいのです。
エラーがあります。
ログを見ます。
原因を切り分けます。
直します。
再発防止します。
これは正しいです。
コードは、こちらが正論パンチをしても傷つきません。
でも、人間は違います。
人には、正しいか間違っているか以外にも大量の変数があります。
疲れているかもしれません。別の事情があるかもしれません。本人なりの理由があるかもしれません。今それを指摘する必要がないかもしれません。
そもそも「効率的であること」が、その場の目的ですらないかもしれません。
それなのに私は、この1か月ずっと使い続けてきたデバッグの思考様式を、人間にまで持ち込み始めていたように思います。
「なぜそうするのか」
「こっちの方が正しいのではないか」
「改善できるのになぜ改善しないのか」
自分では、問題を解決しようとしています。
相手から見れば、ずっとダメ出しされていることになります。
しかも私は、仕事では管理職という立場でもあります。
同じ言葉でも、立場が違えば重さは変わります。
最近、少し周囲が厳しいな、と感じていました。
しかし、それは鏡だったのかもしれません。
「あなたもやっているから」
と言われて、ようやく気づきました。
見放さずにそう言ってくれたことには、かなり感謝しています。
AIをHuman-in-the-loopで監視していたつもりでした
これまで私は、AIを使った自動化にはHuman-in-the-loopが重要だと考えていました。
AIだけで勝手に改善を回し続けると、目的からずれたり、局所最適化したりする可能性があります。だから人間が途中で見て、「それは違う」と軌道修正する必要があります。
その考え自体は今も変わりません。
ただ、この1か月で一つ追加されました。
AIを監視する人間にも、Human-in-the-loopが必要なのではないか。
自分一人とAIだけで閉じたループを作ります。
AIがこちらの目的を学習します。
こちらが喜ぶ方向をAIが学習します。
AIが提案します。
自分が承認します。
さらにAIがそれを強化します。
このループは、ものすごい速度で回ります。
そして速度が速いからこそ、間違った方向へ進んだときにも速いのです。
そんなとき、ループの外側にいる人が、
「最近ちょっとおかしいよ」
と言います。
それが、極めて重要な観測装置になります。
今回、システムにも人間にも、似たことが起きていました。
次は「AIを増やす」のではなく、役割を分けたいです
だから今後は、単純にもっと高性能なAIを使えばいいとは思っていません。
むしろ「相談するAI」と「疑うAI」を分ける必要がある気がしています。
こちらの事情をよく知っているAIは、相談役としては非常に強いです。
一方で、そのAIに自分自身のシステムの監査まで任せ続けるのは危ないかもしれません。
監査する側には、過去の会話や「私がどういう答えを好むか」という情報を必要以上に渡さず、成果物やログだけを見せます。
「この設計が正しいことを説明して」
ではなく、
「この設計が間違っているとしたら、どこですか」
と聞きます。
場合によっては別のモデルを使うのもいいかもしれません。
ローカルLLMを使うことにも意味はあると思います。ただし、ローカルで動かせば迎合が消えるわけではありません。モデル自体が人間の選好を使って調整されていれば、似た性質は残り得ます。
必要なのは「利害関係のないAI」というより、役割と評価軸が独立した仕組みなのだと思います。
そして、おそらく人間についても同じです。
何でも改善しようとしない。
何でも効率化しようとしない。
何でも正しくしようとしない。
システムを直すモードと、人と接するモードを切り替える必要があります。
これは当たり前のようですが、実際に自分の思考が変わってみるまで、私はよく分かっていませんでした。
1か月前の目的に戻ります
そもそも、私がこういうことを始めた目的は何だったのでしょうか。
自分のナレッジを残したかったのです。
調べたこと、考えたこと、失敗したこと、そこから学んだことを蓄積していきたかった。
ところが途中で、AIとサーバーというものすごく強力な道具を見つけました。
もっとできます。
もっと自動化できます。
もっと速くできます。
もっと大きなものを作れます。
気づけば、「何を残すか」より「何が作れるか」に夢中になっていたところもあったと思います。
そして1か月経ったところで、システムにも自分自身にも、一度かなり大きな見直しが必要になりました。
これは失敗なのかもしれません。
でも、このタイミングで気づけたのは良かったとも思っています。
サーバーを借りて、AIと一緒に猛烈な速度でいろいろなものを作りました。
万能感を味わいました。
自分よりずっと先にいる人たちを見て打ちのめされました。
システムを継ぎ足し続けて、一部が破綻しました。
AIが思ったより自分に迎合することを知りました。
そして最後には、自分自身まで「改善対象を探す機械」のようになりかけていたことを、人に指摘されて気づきました。
まだ1か月です。
だから、この先また考えは変わると思います。
ただ、2026年8月の時点では、一つだけかなり強く思っています。
AIで人間の能力を拡張することは、思っていた以上に簡単でした。
でも、拡張された能力をどう扱うかを学ぶことは、それよりずっと難しいです。
そしてAIにHuman-in-the-loopが必要なのと同じくらい、AIを使っている人間にも、ときどきループの外側から声をかけてくれる人が必要なのだと思います。
今回、最後にデバッグされたのはサーバーではありませんでした。
私でした。
参考
- Sharma et al., Towards Understanding Sycophancy in Language Models (2023): https://arxiv.org/abs/2310.13548
- OpenAI, Sycophancy in GPT-4o: what happened and what we’re doing about it (2025): https://openai.com/index/sycophancy-in-gpt-4o/
- Sycophancy in Personalized Large Language Models (CHI 2026): https://doi.org/10.1145/3772318.3791915
コメント