VentureBeat 2023/10/7 07:20:01(JST)
最近、大規模な言語モデル（LLM）の訓練に著作権保護された作品を使用することについての議論が盛り上がっています。マイクロソフトの研究者であるRonen EldanとMark Russinovichは、特定の情報を削除するためにLLMを編集する新しい方法を提案しています。彼らは、MetaのLlama 2-7Bからハリー・ポッターシリーズに関する知識を完全に消去することに成功しました。この研究は、適応可能な言語モデルへの重要な一歩であり、長期的な展開において組織のニーズに合わせてAIを洗練させる能力が重要です。
”
彼らは、LLMから特定の情報を忘れるための3つの手法を開発しました。まず、対象データ（ハリー・ポッターシリーズ）でモデルを訓練し、予測をベースラインモデルと比較して関連性の高いトークンを特定しました。次に、ユニークなハリー・ポッターの表現を一般的なものに置き換え、その訓練を行わなかったモデルの予測を生成しました。最後に、これらの代替予測を使ってベースラインモデルを微調整し、コンテキストに応じて元のテキストをモデルのメモリから消去しました。
”
彼らは300の自動生成プロンプトを使用してモデルのハリー・ポッターに関する内容の生成能力を評価しました。彼らの手法により、わずか1時間の微調整でモデルはハリー・ポッターシリーズの複雑な物語をほぼ忘れることが可能でした。一方で、ARC、BoolQ、Winograndeなどのベンチマークのパフォーマンスはほとんど影響を受けませんでした。この研究は、将来的により責任ある、適応可能な、法的に適合したLLMの創造に向けた基盤となるものです。
”
この研究は有望なスタートを切ったものの、異なるコンテンツタイプに対する適用性はまだ十分にテストされていません。今後の研究により、より広範な忘却タスクに対する手法の洗練と拡張が必要です。選択的な忘却のための一般的で堅牢な技術の開発は、ニーズが変化するにつれてAIシステムが優先事項に動的に合わせられることを保証するのに役立つでしょう。
(※本記事はAIによって自動的に要約されています。正確な情報は引用元の記事をご覧ください。)
(※画像はAIによって自動で生成されており、引用元とは関係ありません。)
引用元の記事：Researchers turn to Harry Potter to make AI forget about copyrighted material.