VentureBeat 2023/9/26 08:00:43(JST)
GoogleのAI子会社であるDeepMindの最新の研究論文によると、大規模言語モデル（LLMs）は強力なデータ圧縮器として見ることができるという。彼らの実験では、わずかな修正を加えることで、LLMsは広く使われている圧縮アルゴリズムよりも効果的に情報を圧縮できることが示された。これにより、LLMsの開発と評価に新たな洞察がもたらされる可能性がある。
”
研究者たちは、オープンソースのLLMsを使って、テキスト、画像、音声データの圧縮能力を評価した。予想通り、LLMsはテキストの圧縮に優れていた。しかし、より興味深い結果は、テキストに特化して訓練されたにもかかわらず、これらのモデルが画像や音声データでも優れた圧縮率を達成したことである。これにより、LLMsは予想外のモダリティ（テキストや音声など）の予測器となり得ることが示唆された。
”
しかし、既存のモデルと比較して、LLMsはデータ圧縮においては実用的なツールではない。その理由は、サイズと速度の違いにある。LLMsは数百ギガバイトにも及ぶサイズであり、消費者向けのデバイスでは実行速度が遅い。また、LLMsは圧縮に1時間以上かかる一方、gzipは1分未満で1GBのテキストを圧縮できる。さらに、LLMsのサイズが大きくなればなるほど、パフォーマンスはデータセットのサイズによって減少することが明らかになった。
”
これらの研究結果は、LLMsの評価に重要な影響を与える可能性がある。例えば、LLMsの訓練における重要な問題の一つは、テストセットの汚染である。これは、訓練済みモデルが訓練データからテストされることにより、誤った結果が生じる問題である。しかし、モデルの複雑さを考慮する圧縮アプローチを使用してモデルを評価する場合、テストセットの汚染は問題にならないという。
(※本記事はAIによって自動的に要約されています。正確な情報は引用元の記事をご覧ください。)
(※画像はAIによって自動で生成されており、引用元とは関係ありません。)
引用元の記事：LLMs are surprisingly great at compressing images and audio, DeepMind researchers find.