TechCrunch 2023/8/17 22:15:42(JST)
機械学習モニタリングのスタートアップであるArthurは、今年の生成AIへの関心から恩恵を受けており、企業がLLM（言語モデル）を効果的に活用するためのツールの開発に取り組んでいます。その中でも、特定のデータに最適なLLMを見つけるためのオープンソースツールであるArthur Benchをリリースしました。”
“Arthurの共同創設者でCEOのAdam Wenchel氏は、生成AIとLLMに対する関心が高まっているため、同社は製品開発に多くの努力を注いでいると述べています。彼は、企業がツールの効果を他のツールと比較するための組織化された方法を持っていないと指摘し、それがArthur Benchの開発の背景にあると説明しています。”
“Arthur Benchは、パフォーマンスを方法論的にテストするためのツールセットを提供していますが、その真の価値は、ユーザーが特定のアプリケーションに使用する可能性のあるプロンプトの種類が、異なるLLMに対してどのように機能するかをテストおよび測定できることです。また、大規模に行うことができ、特定のユースケースに最適なモデルを選択するためのより良い意思決定ができます。”
“Arthur Benchは、オープンソースツールとしてリリースされました。オープンソース版の管理の複雑さに対処したくない顧客や、より大きなテスト要件を持つ顧客向けには、SaaS版も提供されます。しかし、現時点では、Arthurはオープンソースプロジェクトに集中しているとWenchel氏は述べています。この新しいツールは、5月にリリースされたArthur Shieldに続くもので、LLMの幻覚を検出し、有害な情報や個人データの漏洩から保護するLLMファイアウォールです。
(※本記事はAIによって自動的に要約されています。正確な情報は引用元の記事をご覧ください。)
(※画像はAIによって自動で生成されており、引用元とは関係ありません。)
引用元の記事：Arthur releases open source tool to help companies find the best LLM for a job.