「ハルシネーションしないAI」目指し数学的超知能を研究　5ch「人間も正解を手探りなのに」

Konoe Intelligenceが一般社団法人Nyx Foundationと共同で、ハルシネーションを構造的に排除する「数学的超知能」の研究を始めたと発表した。6カ月でPutnamBenchのスコア改善を目指すという内容に、5chでは「実現すれば数学研究をAI単独で進められそう」と期待する声が上がる一方、「人間自体が正解を常に手探りしているのに、AIにだけ正解を出せというのは無理がある」との懐疑的な反応も相次いだ。

Konoe Intelligenceは一般社団法人Nyx Foundationと、ハルシネーションしないAIの共同研究を開始した。

同社は、答えが正しいかどうかは、答えの中ではなく論理的な過程（推論）にあり、AIの推論において、推論の一歩一歩を機械的に検証できる仕組みが必要とした。最新のAIが持つ“高い推論能力”と“推論が正しいと保証される”ことは同一ではないため、検証が必要となるが、正しさを証明してきた唯一の手段として挙げたのが“数学”であり、ハルシネーションしないAI、として数学的超知能を開発すると発表した。

AIの安全性の最終形態として、出力を事後的に検知しフィルタリングする対症療法ではAIの安全は完成しない。構造的に誤りが起こり得ないAIを作ることこそが、AIセーフティの最終形とした。AIの出力を、確率ではなく数学的な証明によって保証する枠組みを構築していく。

今回の提携により、同社はAIの安全性を「確率の管理」から「数学的な保証」へと引き上げる挑戦とコメントしており、第一歩として、金融、自動車、航空、半導体など、高い品質と信頼性が求められる業界における仕様書やプロトコルの形式化といった形式検証のタスクにおいて、ハルシネーションを構造的に排除した、質の高いモデルを開発していくという。

ここ6か月での成果指標として、PutnamBench（大学レベルの難問集）で明確な改善を出すほか、AIが問題文を数式に翻訳する段階で意味を取り違えることがあるため、これを機械で検出し、Nyx独自技術で今の半分に減らすことなどを挙げている。

出典: ai.watch.impress.co.jp / 元記事はこちら

※本記事は5ch(ビジネスnews+)スレッド「【AI】「ハルシネーションしないAI」の実現に向けて数学的超知能の研究を開始」より抜粋・要約して構成しています。