しんたろーのITアカデミー

SWE-Bench Proの正解率80%は信用できるのか。AI開発者が判断プロセスを監査すべき理由

爆速で進化したAIコーディング能力の「不都合な真実」 AIのコーディング能力を測る指標として、SWE-Bench Proが注目されている。 わずか8ヶ月で正解率は23.3%から80.3%へ上昇した。 この数字はエンジニア不要論を加速させる。 最新の調査でこの数字の裏にあるノイズが判明した。 評価タスクの約30%に不備がある。