Apple obrało charakterystyczną ścieżkę w dziedzinie Generative AI, decydując się na wykorzystanie swojego zastrzeżonego krzemu do aplikacji opartych na chmurze, zamiast polegać na procesorach graficznych NVIDIA. Oczekuje się, że ta strategiczna decyzja będzie ewoluować wraz z wprowadzeniem nadchodzącego układu M4 Ultra, którego celem jest zwiększenie możliwości przetwarzania dla dużych modeli językowych (LLM). Ostatnio jednak Apple wyraziło chęć współpracy z NVIDIA w celu przyspieszenia procesów generowania tekstu przy użyciu LLM, co pokazuje potencjał synergii między tymi dwoma gigantami technologicznymi.
Przedstawiamy „ReDrafter”: przełom w generowaniu tekstu
Apple niedawno zaprezentowało innowacyjną technikę znaną jako „ReDrafter” — skrót od Recurrent Drafter — która wyznacza nowy standard w technologiach generowania tekstu. Ta metoda pomysłowo integruje dwa odrębne podejścia: wyszukiwanie wiązką i uwagę drzewa. Obie strategie zostały zaprojektowane w celu zwiększenia wydajności generowania tekstu. Po przeprowadzeniu szeroko zakrojonych badań wewnętrznych Apple współpracowało z NVIDIA, aby osadzić ReDrafter w ramach TensorRT-LLM, wyrafinowanym narzędziu zoptymalizowanym pod kątem przyspieszenia wydajności LLM działających na sprzęcie NVIDIA.
Co ważne, ReDrafter nie tylko zwiększa szybkość działania, ale również redukuje opóźnienia operacyjne, zużywając mniej energii — co jest coraz ważniejszym czynnikiem we współczesnym krajobrazie technologicznym.
„Ta praca badawcza wykazała silne wyniki, ale jej większy wpływ wynika z zastosowania w produkcji w celu przyspieszenia wnioskowania LLM. Aby ten postęp był gotowy do produkcji dla procesorów graficznych NVIDIA, współpracowaliśmy z firmą NVIDIA w celu zintegrowania ReDrafter z frameworkiem przyspieszenia wnioskowania NVIDIA TensorRT-LLM.
Chociaż TensorRT-LLM obsługuje wiele otwartych LLM i metodę dekodowania spekulatywnego Medusa, algorytmy wyszukiwania wiązki i uwagi drzewa ReDrafter opierają się na operatorach, które nigdy nie były używane w poprzednich aplikacjach. Aby umożliwić integrację ReDrafter, NVIDIA dodała nowych operatorów lub ujawniła istniejących, co znacznie poprawiło zdolność TensorRT-LLM do obsługiwania zaawansowanych modeli i metod dekodowania. Deweloperzy ML używający procesorów graficznych NVIDIA mogą teraz łatwo skorzystać z przyspieszonego generowania tokenów ReDrafter dla swoich produkcyjnych aplikacji LLM z TensorRT-LLM.
W testach porównawczych modelu produkcji dziesiątek miliardów parametrów na procesorach graficznych NVIDIA, przy użyciu struktury przyspieszającej wnioskowanie NVIDIA TensorRT-LLM z ReDrafter, zaobserwowaliśmy 2,7-krotne przyspieszenie generowanych tokenów na sekundę w przypadku dekodowania zachłannego. Te wyniki testów porównawczych wskazują, że ta technologia może znacznie zmniejszyć opóźnienia, których mogą doświadczać użytkownicy, a jednocześnie używać mniejszej liczby procesorów graficznych i zużywać mniej energii”.
Ta współpraca oznacza potencjalny, choć kruchy, sojusz między Apple i NVIDIA, przypominający partnerstwa, które firmy technologiczne często tworzą napędzane wspólnymi interesami. Jednak utrzymujące się historyczne napięcia między tymi dwoma firmami podważają prawdopodobieństwo trwałego formalnego partnerstwa. Podczas gdy tymczasowe współprace takie jak ta mogą się pojawić, perspektywa długoterminowego sojuszu wydaje się mało prawdopodobna.
Więcej szczegółów znajdziesz w oryginalnym komunikacie prasowym firmy Apple: Oficjalny blog firmy Apple .
Dodatkowe informacje można znaleźć w tym kompleksowym artykule: Wccftech’s Coverage .
Powiązane artykuły:
Qualcomm twierdzi, że rdzenie Oryon firmy wewnętrznej wykorzystują technologię ARM w mniej niż 1% w trwających postępowaniach prawnych
9:36
Apple zbliża się do zniesienia zakazu sprzedaży iPhone’a 16 w Indonezji po zatwierdzeniu przez prezydenta inwestycji o wartości 1 miliarda dolarów
8:58
Inicjatywy motywacyjne T-Mobile mające na celu zwiększenie liczby pobrań aplikacji T-Life budzą obawy pracowników
8:54
Dodaj komentarz