英特爾 Gaudi 2 AI 加速器能夠使用參數高達 70B 的 Llama 2 模型生成文本

英特爾的 Gaudi 2 AI 加速器是 NVIDIA 晶片最可行的替代品，Hugging Face 已使用 Llama 2 展示了其文字生成功能。

英特爾 Gaudi 2 加速器使用開源 Llama 2 LLM 進行文字生成演示，參數高達 700 億個

隨著英特爾擴展其人工智慧軟體生態系統，該公司瞄準了最受歡迎的人工智慧工作負載，其中包括 LLM（大型語言模型）。這項工作是透過使用Habana Optimum（充當介面變壓器和擴散器庫）以及英特爾 Habana Gaudi 處理器（例如 Gaudi 2）來實現的。該公司已經針對NVIDIA 的 A100 GPU展示了其Gaudi 2 處理器的AI 功能和性能。在市場上流行的選項中，Gaudi 2 在以具有競爭力的 TCO 提供更快的性能方面做得值得稱讚。

在最新演示中，Hugging Face 展示了使用相同的 Optimum Habana 管道和 Intel Gaudi 2 AI 加速器，使用 Llama 2（7b、13b、70b）生成文字的輕鬆性。最終結果表明，Gaudi 2 晶片不僅能夠接受單一/多個提示，而且非常易於使用，還可以處理腳本中的自訂插件。

隨著生成式人工智慧 (GenAI) 革命的全面展開，使用 Llama 2 等開源 Transformer 模型生成文字已成為熱門話題。人工智慧愛好者和開發人員正在尋求利用此類模型的生成能力來實現自己的用例和應用程式。本文展示了使用 Optimum Habana 和自訂管道類別透過 Llama 2 系列模型（7b、13b 和 70b）產生文字是多麼容易 – 您只需幾行程式碼就可以運行模型！

此自訂管道類別旨在提供極大的靈活性和易用性。此外，它提供了高水準的抽象並執行涉及預處理和後處理的端到端文字生成。使用管道的方法有多種 – 您可以run_pipeline.py從 Optimum Habana 儲存庫執行腳本，將管道類別新增至您自己的 python 腳本中，或用它初始化 LangChain 類別。

我們在英特爾 Gaudi 2 AI 加速器上展示了一個自訂文字產生管道，它接受單一或多個提示作為輸入。該管道在模型大小以及影響文字生成品質的參數方面提供了極大的靈活性。此外，它也非常易於使用和插入您的腳本，並且與 LangChain 相容。

透過抱臉

英特爾致力於在未來幾年加速其人工智慧領域的發展。今年，該公司計劃推出 Gaudi 的第三代產品 Gaudi 3，預計將採用 5 奈米製程節點，據稱比 NVIDIA H100 更快，但價格卻低得多。同樣，該公司還計劃採用下一代 Falcon Shores GPU 進行完全內部設計，預計將於 2025 年推出。該公司還為其消費級開放 AI 功能，例如 Llama 2 與 PyTorch的接口Arc A 系列 GPU。