Akceleratory Intel Gaudi 2 AI mogą generować tekst za pomocą modeli Lama 2 o parametrach do 70B

Akceleratory Intel Gaudi 2 AI są najbardziej realną alternatywą dla chipów NVIDIA, a Hugging Face zademonstrował swoją zdolność do generowania tekstu przy użyciu Llama 2.

Akceleratory Intel Gaudi 2 zademonstrowane w procesie generowania tekstu przy użyciu oprogramowania LLM typu open source Llama 2 z maksymalnie 70 miliardami parametrów

W miarę rozwijania ekosystemu oprogramowania AI firma Intel koncentruje się na najpopularniejszych obciążeniach AI, w tym LLM (modele dużego języka). Praca jest możliwa dzięki Habana Optimum , która służy jako biblioteka transformatorów i dyfuzorów interfejsu, oraz procesorom Intel Habana Gaudi, takim jak Gaudi 2. Firma zademonstrowała już możliwości sztucznej inteligencji i wydajność swoich procesorów Gaudi 2 w porównaniu z procesorami graficznymi NVIDIA A100, które są jednym z popularnych opcji na rynku, ale Gaudi 2 wykonuje godną pochwały robotę, oferując wyższą wydajność przy konkurencyjnym całkowitym koszcie posiadania.

W najnowszej demonstracji Hugging Face pokazuje łatwość generowania tekstu za pomocą Lamy 2 (7b, 13b, 70b) przy użyciu tego samego potoku Optimum Habana i akceleratora Intel Gaudi 2 AI. Wynik końcowy pokazuje, że chip Gaudi 2 nie tylko był w stanie zaakceptować pojedyncze/wiele podpowiedzi, ale był bardzo łatwy w użyciu i mógł także obsługiwać niestandardowe wtyczki w ramach skryptów.

Wraz z nadejściem rewolucji generatywnej AI (GenAI) generowanie tekstu za pomocą modeli transformatorów typu open source, takich jak Llama 2, stało się tematem przewodnim w całym mieście. Entuzjaści sztucznej inteligencji, a także programiści chcą wykorzystać możliwości generatywne takich modeli do własnych zastosowań i zastosowań. W tym artykule pokazano, jak łatwo jest generować tekst za pomocą rodziny modeli Llama 2 (7b, 13b i 70b) przy użyciu Optimum Habana i niestandardowej klasy potoku – będziesz w stanie uruchomić modele za pomocą zaledwie kilku linijek kodu!

Ta niestandardowa klasa potoku została zaprojektowana tak, aby oferować dużą elastyczność i łatwość użycia. Co więcej, zapewnia wysoki poziom abstrakcji i wykonuje kompleksowe generowanie tekstu, które obejmuje przetwarzanie wstępne i końcowe. Istnieje wiele sposobów wykorzystania potoku – możesz uruchomić run_pipeline.pyskrypt z repozytorium Optimum Habana, dodać klasę potoku do własnych skryptów Pythona lub zainicjować za jego pomocą klasy LangChain.

Zaprezentowaliśmy niestandardowy potok generowania tekstu w akceleratorze Intel Gaudi 2 AI, który akceptuje pojedyncze lub wiele monitów jako dane wejściowe. Potok ten zapewnia dużą elastyczność pod względem rozmiaru modelu, a także parametrów wpływających na jakość generowania tekstu. Co więcej, jest on bardzo łatwy w użyciu i łatwy do podłączenia do skryptów oraz jest kompatybilny z LangChain.

poprzez Przytuloną Twarz

Intel zamierza w nadchodzących latach przyspieszyć rozwój swojego segmentu sztucznej inteligencji . W tym roku firma planuje wprowadzić trzecią iterację Gaudiego, znaną jako Gaudi 3, która ma wykorzystywać proces technologiczny 5 nm i według doniesień jest szybsza niż NVIDIA H100 przy znacznie niższej cenie. Podobnie firma planuje również przejście na w pełni autorską konstrukcję z procesorem graficznym Falcon Shores nowej generacji, którego premiera ma nastąpić w 2025 r. Firma udostępnia także możliwości sztucznej inteligencji, takie jak interfejs Llama 2 z PyTorch dla swojego poziomu konsumenckiego Procesory graficzne Arc z serii A.