AIの性能は誇張されている 「精度」を偽る間違った統計学

Newsweekにこのような記事が掲載されています。「AIが同性愛者とストレートの顔を91%の精度で識別した。」 コロンビア大学の元コンピューターサイエンス教授エリック・シーゲルは、この表現は精度についての誤った認識に基づく誇張であると指摘しています。

”以下のようにして嘘がもたらされる。研究者は高い「精度」を報告するが、その後、技術論文の詳細に埋もれて、実際には印象的なものとは言えないような精度に関係する研究結果の別の尺度を意味するために「精度」という言葉を誤用していることを明らかにする。”

結果を誇張する統計上のトリック

スタンフォード大学の「ゲイダー」研究は、AIが画像認識により同性愛者とストレートの人の顔を91%の精度で判別したと報告しています。しかし、シーゲル教授はこれは誇張であると指摘します。

実際に行われた実験は、一枚が同性愛者、もう一枚がストレートである男性の写真を用意し、AIがその二枚を判別することによって91%の精度を出しています。つまり、二枚の写真のうち必ずどちらかが同性愛者であることが分かっている条件での結果です。

しかし、これは実験室ではうまくいったとしても現実の世界では役に立たないでしょう。現実の社会での同性愛者の割合はそれよりもっと低く、実際の条件でこのモデルを用いた場合、同性愛者の識別率は3分の2程度であると言います。これでもそれなりの精度があるように思うかもしれませんが、ストレートの人を同性愛者であると誤認識する場合もあるので、結果的に半分以上の人が誤認識されることになるとシーゲル教授は言います。

AIの進歩は目覚ましいものがあるが、現実の複雑さに対処できるようになるにはまだまだ時間が必要である。

教授はAIの技術そのものは高く評価されるべきであると述べながら、研究者たちがマスコミ受けを狙って結果の一部を誇張していることに苦言を呈しています。私たちもマスコミを通じて日々流されるAIのニュースについて、その内容を冷静に吟味する姿勢が求められているようです。