Intel Gaudi 2 AI アクセラレータは、最大 70B パラメータの Llama 2 モデルでテキストを生成可能

Intel の Gaudi 2 AI アクセラレータは、NVIDIA チップの最も実行可能な代替品であり、Hugging Face は Llama 2 を使用したテキスト生成機能を実証しました。

Intel Gaudi 2 アクセラレータは、最大 700 億のパラメータを持つオープンソース Llama 2 LLM を使用したテキスト生成でデモされました

Intel は AI ソフトウェアエコシステムを拡大する中で、LLM (Large Language Model) を含む最も人気のある AI ワークロードをターゲットにしています。この作業は、インターフェイストランスフォーマーおよびディフューザーライブラリとして機能するHabana Optimumと、Gaudi 2 などの Intel Habana Gaudi プロセッサを使用して可能になりました。同社はすでに、NVIDIA の A100 GPU に対して Gaudi 2 プロセッサの AI 機能とパフォーマンスを実証しています。市場で人気のあるオプションの 1 つですが、Gaudi 2 は競争力のある TCO でより高速なパフォーマンスを提供するという点で賞賛すべき仕事をしています。

最新のデモでは、Hugging Face が、同じ Optimum Habana パイプラインと Intel Gaudi 2 AI アクセラレータを使用して、Llama 2 (7b、13b、70b) でテキストを生成する簡単さを示しています。最終結果は、Gaudi 2 チップが単一または複数のプロンプトを受け入れることができるだけでなく、非常に使いやすく、スクリプト内のカスタムプラグインも処理できることを示しました。

ジェネレーティブ AI (GenAI) 革命が本格化する中、Llama 2 のようなオープンソースのトランスフォーマーモデルを使用したテキスト生成が話題になっています。 AI 愛好家や開発者は、そのようなモデルの生成機能を独自のユースケースやアプリケーションに活用しようとしています。この記事では、Optimum Habana とカスタムパイプラインクラスを使用して、Llama 2 ファミリのモデル (7b、13b、および 70b) でテキストを生成することがいかに簡単であるかを示します。わずか数行のコードでモデルを実行できるようになります。

このカスタムパイプラインクラスは、優れた柔軟性と使いやすさを提供するように設計されています。さらに、高度な抽象化を提供し、前処理と後処理を含むエンドツーエンドのテキスト生成を実行します。パイプラインを使用するには複数の方法があります。Optimum Habana リポジトリからスクリプトを実行したりrun_pipeline.py、独自の Python スクリプトにパイプラインクラスを追加したり、パイプラインクラスを使用して LangChain クラスを初期化したりできます。

単一または複数のプロンプトを入力として受け入れる、Intel Gaudi 2 AI アクセラレーター上のカスタムテキスト生成パイプラインを紹介しました。このパイプラインは、モデルのサイズだけでなく、テキスト生成の品質に影響を与えるパラメーターの点でも優れた柔軟性を提供します。さらに、使い方もスクリプトへのプラグインも非常に簡単で、LangChain と互換性があります。

ハグフェイス経由

インテルは、今後数年間でAI セグメントを加速することに取り組んでいます。今年、同社は Gaudi 3 として知られる Gaudi の 3 番目のバージョンを発表する計画を立てています。これは 5nm プロセスノードを利用する予定で、NVIDIA H100 よりも大幅に低価格で高速であると伝えられています。同様に、同社は、2025 年に予定されている次世代 Falcon Shores GPU を完全に社内設計に移行する予定です。同社はまた、消費者層向けに、PyTorchを使用した Llama 2 インターフェイスなどの AI 機能も開放しています。 Arc A シリーズ GPU。