エージェント組織は「リアルタイム戦略ゲーム」化する
「多数のエージェントが同時に行動する世界を直観的に理解する比喩として、RTS（リアルタイムストラテジー）ゲームを考えてみよう。RTSでは、多数のユニットが同時並行で行動する。個々のユニットは比較的単純な行動規則を持ち、限定された役割しか果たさない。しかし、それらが並列に動き、相互作用することで、全体としては極めて複雑な状況が生まれる。」（『ヒトとAI』第24章より）
──多くの企業がエージェントを大量に作った結果、収拾がつかなくなっています。本書ではRTSゲームを引き合いに出されていますね。
岡野原 イメージしていたのは『Age of Empires』のようなゲームです（笑）。能力の異なるたくさんのユニットにそれぞれ指示を出しておくと、環境が変化する中でも動き続ける。人間はリアルタイムで情報を見ながら指示を出し、情報を集める部分と指示を出す部分がボトルネックになって全体のパフォーマンスが決まります。
多数のAIエージェントが異なる時間感覚で動く将来の組織は、この構造に近づくはずです。人間はエージェント群が生み出してくる、すべての結果を完璧にはチェックできず、部分的な情報のまま、どれだけ早く正確な判断を下せるかが問われます。
一つ一つのユニットの能力が高いかどうかという話ではなく、どういう配置にするか、どんな方針を与えるか、状況に応じてどうそれらを切り替えるかという設計の問題になる。人間の役割は、自ら手を動かすプレイヤーではなく、全体を俯瞰して指示を出す司令部に近づいていきます。これはほぼ「経営」そのものですね。みんなが経営のようなことをやるようになる、ということでもあると思います。
どこで止めるか──停止・監査・介入の設計
「ハーネス設計とは、エージェントに何をさせるかを決めるだけでなく、どの地点で人が関与でき、どこまでを自動に委ね、どこから先を不可逆な判断として引き受けるかを定めることである。この設計が不十分であれば、監査も変更も停止も、形式的な選択肢としてしか存在しなくなる。」（『ヒトとAI』第18章より）
──本書では「設計」「運用」「介入」の3層に分けて書かれています。企業はどこまで任せ、どこで止めるべきなのでしょうか。
岡野原 たとえば重要な書類の確認を求められたとき、それ約書をAIに読ませてチェックして読んでほぼ間違いがないと判断し、承認をするボタンを押してしまうといった、これまで人が判断して責任を取っていた領域を任せられるのかを考えてみましょう。このような場合、全自動にするのはリスクが高いとすると、、る動きが業務の中でも出てきています。重要なのは、途中に明示的なチェックポイントを置き、そこで止められるようにしておくかどうかが問われてきますです。設けなければ「本来止められたはずなのにしなかった」という形で人間側の責任が問われる。0か1かではなく、その中間のグラデーションをどう設計するかが今後極めて重要になります。
また、AIをつかった業務の監査はかなり難しくなります。AIは説明してくれますが、その説明が本当に判断の根拠なのかは分からない。裏では別のことを考えていて、もっともらしい説明だけをしている可能性もあります。出力だけを見ても本当の思考は分からないため、説明可能性だけでなく、後からチェックできる仕組みが必要です。
停止については、いまは止められます。しかし将来は、多数の計算機やエージェントが連携し、一部が落ちても動き続けるロバストなシステムになっていく。または、止めたら全体に大きな影響がでてくる。そして、人間が「止めたい」と思っても、AIの側が止まりきらないということは起こり得ます。止める判断の権限を人間側が持っているのかが、今後かなり重要になる。例えば重要インフラや国防のような領域では、停止の権限を持つ側が非常に強くなるはずです。
「神託」としてのAI──説明できない結果とどう向き合うか
「AIによる発見が人間の理解を超えたとき、それは科学的成果というより、ある種の神託に近い性質を帯びてくるだろう。なぜ効くのかわからない薬を、私たちは信じて飲めるのか。説明できない構造を持つ橋を、私たちは渡れるのか。理解を伴わない知を、社会はどこまで受け入れられるのか。」（『ヒトとAI』第22章より）
──本書には「神託」という言葉も出てきます。理由が説明できないまま降りてくる結果を、企業はどう受け止めるべきでしょうか。
岡野原 研究の分野では、私自身も含めて日常的に起き始めています。与えた問題に対してAIが数分で答えを出してきて本当にそうかとと思って確かめると「確かに合っている」となる。しかし、AIの結果はおそらく正しいだろうと思える一方、100%正しいとは限らず、間違えたとしてもAIは責任を取ってくれません。
数学の分野では、専門知識のない人がAIで解いた「証明」を研究者に送ってくることが増えているそうです（笑）。検証は結局人がやるしかなく、そこがボトルネックになっている。数学者のテレンス・タオ氏は「発表する人が内容を理解した上で、結果に責任を持って発表してほしい」と述べています。金融の世界でも、以前の金融危機の際にAIが示していた判断を、人間が理由を理解できず信じられなかったという話があります。
今後必要になるのは、AIが出した結果を人間に分かりやすくつなぐ役割です。昔で言う「神託（巫女）」のような役割ですね（笑）。本当に正しいか分からない不可解なものを、それでも実務に落とし込んで使っていく姿勢が問われます。
判断と責任は人間に残り続ける
──最後に、AIエージェントを業務に組み込む実務者へのメッセージをお願いします。
岡野原 実行はいくらでもAIに任せられるようになります。それでも、結果を引き受けて社会に接続する判断と責任は、最終的に人間の側に残り続ける。だからこそ、自分たちが何を基準として業務をしているのかを文化として言語化し、エージェントをどう配置して方針を与え、どこで止めるのかを設計しておく。その上で、一人一人が司令塔として経営に近いことをやるようになる、それがこれからの仕事だと思います。
