Najnowsze multimodalne modele Llama 3.2 firmy Meta zostały uruchomione na platformach Microsoft Azure i Google Cloud

Podczas Connect 2024 , założyciel i dyrektor generalny Meta Mark Zuckerberg ogłosił debiut Llama 3.2 . Ta nowa wersja wprowadza małe i średnie modele języka wizji (LLM) z parametrami 11B i 90B , wraz z wyborem modeli wyłącznie tekstowych na urządzeniu (parametry 1B i 3B). Co godne uwagi, nowe modele wizji 11B i 90B reprezentują inauguracyjne przedsięwzięcie Llama w zakresie możliwości multimodalnych.

Firma Microsoft ogłosiła również, że modele Llama 3.2 11B Vision Instruct i Llama 3.2 90B Vision Instruct są teraz dostępne w katalogu modeli Azure AI . Ponadto wkrótce deweloperzy będą mogli spodziewać się wnioskowania za pośrednictwem bezserwerowych interfejsów API Models-as-a-Service (MaaS) dla tych ulepszonych modeli.

Dostępne modele Llama 3.2 do zarządzanego wnioskowania obliczeniowego na platformie Azure obejmują:

Płomień 3.2 1B

Lama 3.2 3B

Lama 3.2-1B-Instrukcja

Lama 3.2-3B-Instrukcja

Strażnik Lamy 3 1B

Lama 3.2 11B Wizja Instrukcja

Llama 3.2 90B Wizja Instrukcja

Llama Guard 3 11B Wizja

Obecnie dostrajanie jest oferowane tylko dla modeli Llama 3.2 1B Instruct i 3B Instruct. Jednak Microsoft planuje rozszerzyć możliwości dostrajania na dodatkowe kolekcje modeli Llama 3.2 w nadchodzących miesiącach. Modele te działają z limitem 200 tys. tokenów na minutę i 1 tys. żądań na minutę . Deweloperzy wymagający wyższego limitu szybkości są zachęcani do skontaktowania się z zespołem Microsoft w celu uzyskania potencjalnych korekt.

Ponadto Google ogłosiło , że wszystkie modele Llama 3.2 są teraz dostępne w Vertex AI Model Garden, co umożliwia samoobsługową instalację. Obecnie tylko model Llama 3.2 90B jest oferowany w wersji zapoznawczej za pośrednictwem rozwiązania Google MaaS.

W połączeniu z modelami Llama 3.2, Meta wprowadziła dystrybucje Llama Stack . Dystrybucje te zostały zaprojektowane w celu usprawnienia sposobu, w jaki deweloperzy wykorzystują modele Llama w różnych środowiskach, w tym w konfiguracji jednowęzłowej, lokalnej, w chmurze i na urządzeniu. Zespół Meta ujawnił następujące informacje:

Llama CLI (interfejs wiersza poleceń) do tworzenia, konfigurowania i wykonywania dystrybucji Llama Stack

Kod klienta dostępny w wielu językach programowania, takich jak Python, Node.js, Kotlin i Swift

Kontenery Docker dla Llama Stack Distribution Server i Agents API Provider

Różnorodne dystrybucje:

Dystrybucja stosu Llama na jednym węźle za pośrednictwem wewnętrznej implementacji Meta i Ollama

Dystrybucje Cloud Llama Stack za pośrednictwem AWS, Databricks, Fireworks i Together

Dystrybucja stosu Llama na urządzeniu iOS zaimplementowana przy użyciu PyTorch ExecuTorch

Lokalna dystrybucja Llama Stack obsługiwana przez firmę Dell

Wprowadzenie modeli Llama 3.2 i dystrybucji Llama Stack oznacza kluczowy postęp w zwiększaniu dostępności solidnych modeli AI dla programistów. Oczekuje się, że ten postęp będzie napędzał większą innowacyjność i szerszą adopcję AI w różnych sektorach.

Źródło