VentureBeat 2023/10/6 08:51:51(JST)
最近発表された論文によると、テキスト対テキストの大規模言語モデル（LLM）は、長い会話において一貫して高品質なパフォーマンスを維持することが課題であることがわかった。LLMはある長さのデータブロックで事前学習されており、その長さを超えるとパフォーマンスが低下する。しかし、研究者たちは「StreamingLLM」という新しいフレームワークを開発し、会話がLLMのコンテキストウィンドウを超えてもパフォーマンスを維持する方法を見つけた。
研究者たちは、LLMが会話の初めに提示されたトークンに注目し、それらを後の応答に活用することを発見した。そのため、会話の途中で初期のトークンを再度提示することで、LLMのパフォーマンスを回復させることができる。この方法により、LLMは無限の長さのテキストに対しても高いパフォーマンスを維持することが可能となる。
ただし、この方法はLLMのコンテキストウィンドウを拡張するわけではなく、長期的な記憶を改善するわけでもないことに注意が必要である。しかし、このStreamingLLMは、連続的な応用に適しており、過去のデータに頼らずにモデルが持続することができる。将来のLLMの訓練には、このフレームワークを活用することが推奨されている。
”
(※本記事はAIによって自動的に要約されています。正確な情報は引用元の記事をご覧ください。)
(※画像はAIによって自動で生成されており、引用元とは関係ありません。)
引用元の記事：StreamingLLM shows how one token can keep AI models running smoothly indefinitely.