VentureBeat 2023/10/6 05:40:20(JST)
カリフォルニア州のスタートアップ企業であるNucleus AIは、AmazonとSamsung Researchの才能を持つ4人のメンバーからなるチームで、本日ステルスモードから脱却し、初の製品である22兆パラメータの大規模言語モデル（LLM）を発表しました。この汎用モデルは、13Bから34Bのセグメントの間に位置し、異なる生成タスクや製品に対して微調整が可能です。Nucleusは、同等のサイズのモデルよりも優れた性能を持ち、将来的には農業の変革にAIを活用することを目指しています。”
“Nucleusは、約3か月半前に早期投資家から計算リソースを受け取った後、22Bモデルのトレーニングを開始しました。同社は既存の研究とオープンソースコミュニティを活用して、LLMを2,048トークンのコンテキスト長で事前トレーニングし、最終的にはウェブ、Wikipedia、Stack Exchange、arXiv、コードからスクレイピングされた大規模なデデュープリケーションとクリーニングされた情報を含む1兆トークンのデータでトレーニングしました。”
“次のステップとして、Nucleusは、3500億トークンと7000億トークンでトレーニングされた22Bモデルの追加バージョン、および4,096トークンのより大きなコンテキスト長で事前トレーニングされた2つのRetNetモデル（30億パラメータと110億パラメータ）をリリースする予定です。これらの小型モデルは、RNNとトランスフォーマーニューラルネットワークアーキテクチャのベストを組み合わせ、速度とコストの面で大きな利益をもたらします。農業向けのOSとRetNetモデルについての詳細は、今月後半に発表される予定です。”
(※本記事はAIによって自動的に要約されています。正確な情報は引用元の記事をご覧ください。)
(※画像はAIによって自動で生成されており、引用元とは関係ありません。)
引用元の記事：Nucleus AI emerges from stealth with 22B model to transform agriculture.