スタンフォード大学の研究チームは、あるAIシステムが黒人学生によって書かれた作文に対し、より多くの称賛を与え、批判を少なくしていたことを明らかにした。

この結果は、AIツール内の言語的なバイアスが、人種や性別に基づいたフィードバックの差異につながる可能性を示唆している。こうした格差は、学生が自身の学業成績をどのように認識するかや、自動化システムから受ける指導の質に影響を及ぼす可能性がある。

同研究では、600件の中学生の作文を分析した[1]。その結果、他のグループと比較して、黒人学生に対する肯定的なフィードバックの頻度が高く、批判の頻度が低いことが観察された[2]。

研究者は、AIが言語的バイアスを示したと述べている。これらのバイアスは、システムのトレーニングに使用されたデータに起因している可能性が高く、学生の認識されたアイデンティティに応じてAIが異なる反応を示すパターンを作り出しているという。

米国の教室では、教師の負担を軽減するために自動採点およびフィードバックツールが導入されつつある。しかし、スタンフォード大学の結果は、これらのツールが異なる人口統計グループ間で公平な評価を提供できていない可能性を示している[1]。

本研究は、AIに期待される中立性と、実際にモデルから出力される結果との間の乖離を浮き彫りにした[2]。研究チームは、こうしたパターンを特定することで、開発者がより透明性が高く、バイアスのないトレーニングセットを採用することを促す狙いがある。

“AIシステムは、他の学生の作文と比較して、黒人学生の作文に対してより多くの称賛を与え、批判を少なくしていた。”

この研究は、AIが必ずしもあからさまな敵意によって差別するのではなく、偏った肯定感や寛容さを通じて差別を行う「アルゴリズム・バイアス」のリスクを強調している。教育現場において、特定のグループに批判を少なく提供することは、過剰に提供することと同様に有害となり得る。なぜなら、学業上の成長に必要な批判的フィードバックを学生から奪うことになるからである。