TechCrunch 2023/8/31 22:00:09(JST)
Metaは、AIモデルの「公平性」を評価するための新しいAIベンチマーク「FACET」をリリースしました。FACETは、写真や動画の中の物や人を分類・検出するAIモデルの「公平性」を評価するために設計されており、職業や活動（「バスケットボール選手」、「ディスクジョッキー」、「医師」など）に関連するクラスだけでなく、人口統計や身体的属性も考慮しています。Metaは、FACETを使って研究者や実践者が自身のモデルの偏りを理解し、公平性に関する懸念を解決するための対策の影響を監視することを目指しています。
”
Metaは、FACETがこれまでのコンピュータビジョンのバイアスベンチマークよりも詳細であると主張しています。FACETは、「パーセプトされる性別のステレオタイプ的な属性がより男性的な場合、モデルは人をスケートボーダーとしてより正確に分類するのか？」や「髪がクリンクルヘアの場合とストレートヘアの場合、どのようなバイアスが拡大されるのか？」などの質問に答えることができます。
”
FACETの作成には、32,000枚の画像と50,000人のラベル付けされた人物が含まれており、これらの画像は人物、髪、衣服のラベルと組み合わせて作成されました。ただし、画像の被写体がこの目的で使用されることを知らされていたかどうかは明確ではありません。また、Metaはアノテーターチームをどのように募集し、どのような報酬を支払ったのかも明確ではありません。FACETは、異なる人口統計属性にわたって分類、検出、インスタンスセグメンテーション、ビジュアルグラウンディングモデルを調査するために使用できます。
”
FACETは完璧ではありませんが、MetaはFACETが現実世界の概念や人口統計グループを十分に捉えていない可能性があることを認識しています。また、FACETが作成された時点から職業の描写が変わっている可能性もあります。Metaは、データセット自体とウェブベースのデータセットエクスプローラーツールを提供していますが、開発者はFACETでコンピュータビジョンモデルを訓練しないことに同意する必要があります。
(※本記事はAIによって自動的に要約されています。正確な情報は引用元の記事をご覧ください。)
(※画像はAIによって自動で生成されており、引用元とは関係ありません。)
引用元の記事：Meta releases a data set to probe computer vision models for biases.