Alibabas neueste KI schlägt GPT-3.5 und Claude in mehreren Benchmark-Tests

Dies ist keine Anlageberatung. Der Autor hält keine Position in einer der genannten Aktien.

Da das Jahr 2024 einen starken Start in den globalen Wettlauf um künstliche Intelligenz markiert, hat der chinesische Technologieriese Alibaba Group auch die neueste Version seines Qwen-Modells für künstliche Intelligenz angekündigt. Neben ChatGPT von OpenAI, dem bekanntesten KI-Chatbot der Welt, sind andere Modelle wie Llama von Meta und Claude von Amazon-Partner Anthropic mehrere Optionen, die Verbrauchern und Unternehmen bei der Wahl einer KI-Plattform für ihre Bedürfnisse zur Verfügung stehen.

Alibabas neueste Qwen-Iteration ist Qwen 1.5, und laut Benchmarks, die auf der Social-Media-Plattform X geteilt werden, übertrifft das Modell in einigen Benchmark-Ergebnissen sowohl ChatGPT als auch Claude.

Alibabas Qwen 1.5 schlägt Claude und ChatGPT bei mehreren Benchmarks zum Testen der Unterrichtsflüssigkeit

Ebenso wie Betriebssysteme, die auf Computern oder Smartphones laufen, ist auch ein Modell der künstlichen Intelligenz eine Software. Dies ermöglicht Softwareentwicklern und Analysten, die Leistung zu bewerten, und wenn es um Alibabas neuestes Qwen 1.5 geht, zeigen einige Ergebnisse, dass es Claude von Anthropic und ChatGPT von OpenAI übertrifft.

Benchmarks, die Betriebssysteme testen, bewerten ihre Fähigkeit, Anweisungen zu verarbeiten und Anwendungen auszuführen, und bei Benchmarks für Modelle der künstlichen Intelligenz geht es in der Regel darum, die Fähigkeit der Modelle zu testen, Ausgaben zu generieren.

Zwei solcher Benchmarks sind MT-bench und Alapaca-Eval, und die auf X geteilten Ergebnisse zeigen, dass eine Variante von Alibabas Qwen 1.5 darin ChatGPT und Claude übertroffen hat. MT-Bench testet die Fähigkeit eines Modells, eine Reihe vordefinierter Fragen zu beantworten, die nicht nur darauf abzielen, es vom Chatbot zu unterscheiden, sondern auch festzustellen, ob sich das Modell in einer schwierigen Gesprächsumgebung, in der zwei Parteien schnell miteinander interagieren, „bestehen“ kann miteinander.

Die Benchmark-Ergebnisse zeigen, dass Qwen der vierthöchste Scorer im MT-Bench war und nur hinter GPT-4 Turbo und den ersten beiden GPT-4-Versionen, nämlich den Versionen 0613 und 0314, zurückblieb.

Alibaba veröffentlicht Qwen 1.5

Demo: https://t.co/goMcWMsIzT

Der größte Open-Source-Qwen1.5-72B-Chat weist eine überlegene Leistung auf und übertrifft Claude-2.1, GPT-3.5-Turbo-0613, sowohl auf MT-Bench als auch auf Alpaca-Eval v2 pic.twitter.com/50dNuUpEBx

– AK (@_akhaliq) 5. Februar 2024

Alapaca-Eval ist ein Benchmark, der ein Referenzmodell verwendet, um menschliche Interaktionen zu emulieren und zu bestimmen, inwieweit ein getestetes KI-Modell Ergebnisse liefert, die mit der Basislinie übereinstimmen. Es bietet Benutzern auch eine Bestenliste, um ihre Tests zu verfolgen, und die heutigen Benchmarks zeigen, dass die Alapaca-Eval-Leistung von Qwen 1.5 nur hinter GPT-4 Turbo und dem in New York ansässigen HuggingFace Yi-34B zurückbleibt.

Qwen1.5 ist eines der größten Open-Source-Modelle seiner Art und wird durch die enormen Rechenressourcen von Alibaba unterstützt. Eine Open-Source-KI stellt wie Open-Source-Software ihren Code Benutzern und Entwicklern zur Verfügung, damit diese das Modell verstehen und eigene Varianten erstellen können. Metas Lama, das auch in den heutigen Partituren vorkommt, ist ebenfalls ein Open-Source-Modell.

Zu Beginn des Jahres 2024 hat die Wall Street und Unternehmen bekanntermaßen den Fokus auf KI gelegt. Die Gewinnberichte von Mega-Cap-Technologiegiganten wie Meta, Microsoft und Alphabet haben sich alle auf KI konzentriert. Meta-Chef Mark Zuckerberg will in diesem Jahr Hunderttausende GPUs kaufen, um sie mit Strom zu versorgen up Llama, und bei der Gewinnmitteilung des Unternehmens erklärte der Geschäftsführer, dass seine Entscheidung, die Rechenkapazität bei Meta zu erhöhen, auf frühere Versäumnisse zurückzuführen sei, die dazu geführt hätten, dass das Unternehmen nicht mehr ausgelastet sei.

Auch die Gewinne der Chiphersteller und -designer TSMC und AMD zeigten, dass sich deren Management optimistisch für die Zukunft der KI äußerte. Das Management von TSMC ist zuversichtlich, dass das Unternehmen stabil aufgestellt ist, um jegliche Nachfrage nach KI zu befriedigen, während AMD der Ansicht ist, dass KI am Ende scheitern kann bis zum Ende des Jahrzehnts Hunderte Milliarden Dollar wert sein.