Claude FableとChatGPT Solで相互レビューする仕組みのお試し

コーディングエージェントがとても楽しい。FableくんやCodexのSolくんと最近は圧倒的にかしこい知性を無駄使いさせてもらいながら、技術の進歩を味わっている。

しかし世間は先を行っていて、夜通し作業してもらったとか、ハーネスが、ループが、グラフが、とキラキラしている。流行りには乗りたい主義だ。まずはClaudeとCodexで相互にレビューし合ったりループを組み込んで自分が読みたいものを書いてもらう体制を組んでもらった。

組んだ体制はこんな感じ。

調査は2系統が独立。FableとSolが互いの結果を見ずに同じ問いを調べ、突き合わせる。片方が重要とした主張は、統合するとき勝手に落とせない(機械検査)
原稿はAI同士のループで磨く。Solのレビュー(公開ブロック級/品質/軽微)をFableが反映し、公開ブロック級の指摘がゼロになるまで自動で周回(上限つき)
人間の関所は3つ: 方針確認・赤入れ・公開の判断。公開だけは自動化しない
今回の実績: 検証ループ9周、公開ブロック級の指摘を延べ32件処理、赤入れ4巡。うち2件は私のコメントを起点にAIが追加調査して、自分の過去の記述の誤りを見つけて直した

組んだ体制

やってみてわかったのは、相互レビューさせてもまだまだ厳しいということ。

調査や裏付けをそれっぽくやってくれるのは良い点。一方で、構成も見せ方もボヤけていて冗長。文体も、いかにもAIな無駄な比喩や「——」といった癖が、どれだけ止めるよう指示しても残る。コーディングのように良し悪しの基準が皆である程度揃う領域と違って、良い文章みたいなものは人ごとにブレるから難しいのだろうか。

いつものChatモードでの説明の文体でいいのに、公開用の記事の文章を書こうとすると途端に劣化するのなんでだろ。

制作物は供養がてらここに載せようと思っていたけど、真偽不明なものをwebに公開するのは憚られるのでボツです。