MLPerf 3.1では、推論のための大規模な言語モデルのベンチマークが追加されました。

VentureBeat 2023/9/12 05:01:29(JST)

MLCommonsは、機械学習（ML）ワークロードのためのストレージシステムのパフォーマンスを測定する新しいベンチマークと、推論用の大規模言語モデル（LLM）のテストを追加して、MLPerf AIベンチマークのスイートを拡大しています。MLCommonsは、ベンダー中立の多数の利害関係者が参加する組織であり、MLPerfベンチマークセットを使用して異なるAIパフォーマンスの側面を報告するための公平な競争環境を提供することを目指しています。MLPerf 3.1ベンチマークには、13,500以上のパフォーマンス結果を含む大量のデータが含まれています。”
”
MLPerfベンチマークの更新ごとに、ベンダーのパフォーマンスが継続的に向上しており、MLPerf 3.1推論結果もその傾向に従っています。推論ベンチマークには複数のテストと設定がありますが、MLCommonsの創設者でエグゼクティブディレクターのDavid Kanter氏は、プレスブリーフィングで多くの提出者が3.0ベンチマークに比べて20％以上のパフォーマンス向上を達成したと述べました。”
”
さらに、MLPerfは3.1推論ベンチマークを追加することで拡大を続けています。新しいLLMベンチマークは、生成型AIの大規模言語モデルの急速な普及を反映しています。MLCommonsがLLMのパフォーマンスをベンチマーク化するのは初めてではありませんが、推論とトレーニングでは異なるタスクであることに注意が必要です。推論では、LLMは複数の文を生成する生成タスクを実行します。MLPerfの推論ベンチマークは、テキスト要約というより広範なユースケースを代表するものです。

(※本記事はAIによって自動的に要約されています。正確な情報は引用元の記事をご覧ください。)
(※画像はAIによって自動で生成されており、引用元とは関係ありません。)
引用元の記事：MLPerf 3.1 adds large language model benchmarks for inference.