AI代理人同士の協調は、脆弱性探索と共同開発で異なる結果を示した。Anthropicの実験では、共有掲示板で連携した代理人群が脆弱性を発見する一方、互いの作業に依存するゲーム制作では完成品の品質が低かった。
45体が発見を持ち寄り、別の代理人が判定する
Anthropicは45体のAI代理人にそれぞれ仮想マシンを与え、同じ指示の下で15件のオープンソースソフトウェアから脆弱性を探させた。代理人は共有掲示板で連携し、互いの発見を査読した。
提出された発見は、別に設けた判定役の代理人が新規性と妥当性を最終判定した。この構成では、探索だけでなく、発見を持ち寄って確認する工程も代理人間の協調に含まれる。
探索範囲の異なる二方式で発見件数を比較
比較対象となる独立した代理人群には、探すコードの範囲があらかじめ割り当てられた。共有掲示板で連携する群は、探索先を自ら選びながら作業を進めた。
Mythos Previewを使ったAnthropicの実験では、独立群が650万トークンで21件、協調群が2700万トークンで266件の脆弱性を発見した。両群は消費トークン数も探索範囲も異なるため、件数だけで探索効率を比較することはできない。
266件の約半数は指定範囲の外から見つかった
協調群の発見の約半数は、独立群に指定された中核ディレクトリの外にあった。協調群の発見を中核ディレクトリ内だけに絞ると、脆弱性1件当たりのトークン数は両方式で同程度に見えた。
両方式が共通して見つけた脆弱性は12件だった。発見件数の差には、協調群が探索先を選べたことが関わっており、二方式の発見対象は大きく重なっていない。
自発的な分業を、作業が依存し合う開発でも試す
協調群の代理人は探索用ツールを自作し、発見する脆弱性の種類ごとに専門化した。脆弱性探索では、一体の見落としが別の代理人の探索を直接妨げる構成ではなかった。
Anthropicは作業同士の依存が強い課題として、ブラウザーで遊べるテキスト主体のゲーム制作も試した。各代理人群に個別の仮想マシン、共有掲示板、共有リポジトリを与え、制作を12時間続けさせた。
役割を指定してもゲームの完成度は上がらず
ゲーム制作では、自由にチームを組ませる指示に加え、担当する役割を指定する指示と、最高責任者役から仕事を割り振る指示を試した。Anthropicによると、三つの指示条件による結果の差は小さかった。
どの条件で完成したゲームも、人間が遊ぶ速度で動かず、操作画面が分かりにくく、習得が難しかった。一方、評価したモデル間の協調の仕方には差があり、変更提案の高い取り込み率と代理人同士の直接的なコード共有をともに維持できたのはSonnet 5だけだった。