VentureBeat 2023/7/12 22:00:00(JST)
AMDのチップを搭載したLUMIスーパーコンピュータは、ヨーロッパで最速かつ最もエネルギー効率の高いスーパーコンピュータとして評価されており、TurkuNLPグループはこれを活用して新しいモデルを迅速に作成しています。これにより、大規模な言語モデル（LLM）への関心が高まり、ChatGPTなどの生成型AIソリューションが可能になっています。しかし、LLMのトレーニングには膨大な計算能力が必要であり、ChatGPTのようなモデルは通常、独自のもので英語に基づいています。
”
Turku大学の研究員であるSampo Pyysaloは、LLMの価値を広範な研究アプリケーションに拡張するために、モデルを有用な時間内にトレーニングするためのパフォーマンスが必要でした。LUMIスーパーコンピュータは、HPE Cray EXスーパーコンピュータアーキテクチャをベースにし、AMD Epyc CPUとAMD Instinct GPUを搭載しており、ワークロードに必要なスケールを提供しています。
”
LUMIは、フィンランドで利用可能な以前の世代のマシンよりも2桁大きく、以前は1つのコンピュータで10億パラメータの言語モデルの事前トレーニングに半年かかっていましたが、LUMIでは約400億トークン（文字、音節、単語）を処理するのにわずか2週間で済むようになりました。LUMIの計算能力とスケーラビリティは、機械学習/AIの限界を押し上げることができるとCSCの機械学習スペシャリストであるVäinö Hatanpääは述べています。
”
TurkuNLPのパートナーであるRisto LuukkonenとVille Komulainenと共に、Pyysaloの目標は、LLMを学術的な用途に開放することでした。彼は「大手企業はモデルを閉じたままにしているが、学術界ではこのようなモデルに実用的にアクセスしたいので、自分たちで作成している。それにはスーパーコンピュータのリソースが必要だ」と述べています。フィンランドに拠点を置くTurku大学では、フィンランド語が自然な出発点でした。LLMの構築には高度なAIと機械学習のツールセットが必要であり、PyysaloはHugging Faceと協力しています。このような大規模なモデルは膨大な計算スケールを必要とし、それがLUMIの重要性を示しています。
”
LUMIは、EuroHPC Joint Undertakingによって所有され、EuroHPC JUと10か国からなるLUMIコンソーシアムの50/50の資金提供を受けています。LUMIはフィンランドのCSC-IT Center for Scienceのデータセンターにあり、LUMIコンソーシアムがホストしています。LUMI-G GPUパーティションは、CSCがホストする他のGPUパーティションを圧倒しています。組織のMahti AIは24のGPUノードで構成されており、Puhtiは80のGPUノードを提供していますが、LUMIは2,560のノードを搭載し、各ノードには4つのAMD Instinct MI250xアクセラレータが搭載されており、合計で10,240のGPUと20,480のグラフィックスコンピュートダイ（GCD）を備えています。
(※本記事はAIによって自動的に要約されています。正確な情報は引用元の記事をご覧ください。)
(※画像はAIによって自動で生成されており、引用元とは関係ありません。)
引用元の記事：AMD-powered LUMI supercomputer lets TurkuNLP create new AI models quickly.