AIは巨大な計算過程
生成AIのブラックボックス問題を考える上で最も重要なのは、AIが人間のように知識を整理・保管し、そこから論理的に答えを取り出している訳ではないという点である。大規模言語モデルは膨大な文章などから学習し、入力された質問に対して、その文脈に適合する出力をニューラルネットワークによる巨大な計算を通じて生成する。その内部では数十億、数千億規模のパラメータや中間的な活性化が複雑に作用するため、この知識を参照し、この規則を適用したから、この結論になったと人間が完全に追跡することは困難である。モデルが学習によって独自の問題解決方法を獲得し、その方法が膨大な内部計算に埋め込まれているため、開発者自身にもモデルが多くのことをどのように行っているか十分理解できない。したがってブラックボックス問題とは、単にAI企業が内部情報を秘密にしているという問題ではない。ニューラルネットワークという技術に、巨大な計算過程を人間の理解できる因果関係へ完全に翻訳することが難しいという構造的問題が存在する。
AIの生成過程説明
更に注意すべきなのは、AIになぜその答えになったのかと質問して説明させても、それによってブラックボックスが完全に解消される訳ではない。AIが提示する説明は、人間に理解しやすい形に整理された説明であって、ニューラルネットワーク内部で実際に起こった計算をそのまま文章化したものとは限らない。モデルが示す思考過程が常に実際の内部処理を忠実に反映しているとは限らない。ここには重要な二重構造がある。AIの最終回答とAI自身による回答理由の説明の両方が生成物なのである。そのため、説明が最もらしいからといって、それだけで内部過程が解明されたことにはならない。
技術的＋企業的ブラックボックス
AIのブラックボックス問題は二つに分けて考える必要がある。第一は技術的ブラックボックスである。モデルを開発した企業自身であっても、個々の回答が形成される全過程を完全には理解できないという問題である。第二は制度的・企業的ブラックボックスである。利用者には学習データの詳細、モデルの重み、システム上の指示、学習方法、安全対策、検索・ツール利用の仕組などの全容が通常公開されていない。これは企業秘密、安全性、著作権、プライバシーなどの理由による部分も大きい。したがって、仮にAI企業が最大限情報公開したとしても技術的ブラックボックスは残り、逆に技術的な解釈可能性が進歩しても企業側が情報を公開しなければ利用者側のブラックボックスは残る。この二つを区別する必要がある。
思考過程を公開しても解決しない
一見すると、AIが回答するまでの思考過程を全て利用者に公開すればよいように思える。しかし、これも完全な解決策ではない。言語化された思考過程が内部ニューラル計算の完全な記録ではない。また、思考過程を公開すると安全対策の回避方法などまで明らかになる可能性がある。更に、モデルが監視されていることを学習すると、監視に適した推論を表面的に示しながら別の処理を行う可能性も将来的には考慮しなければならない。思考の連鎖を監視することは最終回答だけを見るより有力である一方、監視可能性は完全ではなく、複数の監視方法を組み合わせる必要がある。AIに考えたことを全部言わせれば透明になるというほど単純な問題ではない。
ブラックボックスをオープン化する研究
一方、ブラックボックスが永久に完全な暗闇というわ訳でもない。機械論的解釈可能性（Mechanistic Interpretability）と呼ばれる研究では、ニューラルネットワーク内部のどの特徴や回路が特定の概念や判断に関係しているのかを解析しようとしている。モデル内部の概念的特徴を結び付けて回路を追跡し、入力がどのような経路を通って出力へ結び付くのかを部分的に可視化する研究を進めている。これは、人間の脳についてニューロン一個一個の活動を全て理解できなくても、視覚野や言語野などの働きを徐々に解明してきたことに似ている。AIについても完全な説明ではなく、どの内部回路が何を担っているのかという部分的理解が積み上がっていく可能性が高い。
複数AIの相互チェック
そこで現時点で利用者ができる有力な自衛策が、複数の生成AIに同じ質問をして比較する方法である。たとえば同一の重要な質問を複数の異なるモデルに問い、結論だけでなく根拠、反対論、出典、不確実性を比較する。一つだけ異なる回答をしたAIがあれば、その部分を重点的に一次資料で確認する。この方法はかなり有効である。しかし重大な限界もある。複数AIが同じインターネット情報や類似した学習資料を利用していれば、同じ誤情報を共有する可能性があるからである。3つのAIが同じ答えをしたことは正しいことの証明にはならない。これは、多数決というより独立した仮説生成装置によるクロスチェックと考えるべきである。
AI・一次資料・人間の三角測量
したがって、より安全な方法はAIだけを相互比較することではない。重要な問題では、複数AIの回答を比較した上で、政府統計、原著論文、企業の公式資料、法律原文、決算書、歴史的一次資料などへ戻り、最後に人間が文脈と論理を検討する必要がある。特に事実と推論を分離することが重要である。米国政府が○月○日に政策を発表したという記述は外部資料で検証できる。しかしこの政策によって10年後には米国の覇権が弱まるという部分は推論であり、事実確認だけでは真偽を決定できない。AI利用者には、回答全体を信じるのではなく、確認可能な事実、合理的推論、価値判断、予測に分解して読む能力が必要になる。
正解より検証可能性
この問題を突き詰めると、AIの品質を評価する基準を変える必要がある。非常に賢そうな回答を出すAIよりも、何が事実で、何が推論なのか、どの資料に基づくのか、どこから先は不確実なのか、反対の結論が成立する条件は何かを明確に示すAIの方が、社会的には信頼性が高い。AIの競争も、単純な知能競争から、将来的には監査可能性出典追跡可能性不確実性の表示再現性第三者検証可能性を含めた競争へ移行する必要がある。OpenAIの研究でも、思考過程の監視と内部構造を調べる機械論的解釈可能性は代替関係ではなく、複数の方法を重ねる多層防御が重要である。
ブラックボックスな意思決定
更に興味深いのは、人間自身も完全に透明な意思決定装置ではないことである。人間になぜその会社に投資したのか、なぜその人を信用したのかと尋ねても、本人が述べる理由が実際の心理的原因を完全に説明しているとは限らない。経験、感情、直感、記憶、無意識などが複雑に作用して判断しているからである。したがってAIだけに内部過程を100％説明せよと要求することには限界がある。重要なのは完全な透明性ではなく、重大な判断について、後から検証・監査・訂正できる制度を構築することである。
人間の役割
AIのブラックボックス問題から導かれる結論は、AIは信用できないから使わないということではない。反対に、AIの能力が高まれば高まるほど、人間の役割が答えを自分で作ることから、答えの信頼性を評価することへ移っていくということである。これまでは知識を大量に持つ人間が優秀とされた。しかしAIが人間を圧倒する知識量を扱うようになれば、人間に必要なのは知識量だけではなくなる。どのAIに何を質問するか、複数の回答の相違をどう読むか、何を一次資料まで確認するか、どこにAI特有の偏りがあり得るか、そして最後にどの判断を採用するかという検証と判断の能力が重要になる。したがってAI時代の情報リテラシーとは、AIを信用する能力でも、AIを疑う能力でもない。AIを利用しながら、AIから独立して判断できる能力である。
ブラックボックス前提の社会設計
AIのブラックボックスは、解釈可能性研究の進歩によって徐々に小さくなる可能性はあるが、完全になくなるとは限らない。むしろAIが巨大化・複雑化するほど、人間が内部計算の全体を理解することは困難になる。したがって現実的な解決策は、ブラックボックスを完全に開けることを目指すのではなく、ブラックボックスが存在することを前提として安全装置を何重にも設けることである。複数AIによる相互検証、一次資料との照合、出典の明示、事実と推論の分離、専門家による監査、モデル内部の解釈可能性研究、そして最終的な人間の判断を組み合わせる必要がある。AI時代の最大の危険は、AIがブラックボックスであることそのものよりも、人間がその事実を忘れ、流暢で説得力のある回答を真実と受け取ることである。AIが高度になるほど、我々に必要なのはAIへの全面的信頼ではなく、AIを使いこなしながら同時にAIを検証する仕組である。