Was ist Alibabas QwQ-32B? Das neue Sprachmodell, das DeepSeek R1 herausfordert

Alibaba hat mit QwQ-32B ein hochmodernes Sprachmodell vorgestellt, das in direkter Konkurrenz zu DeepSeek R1 steht. Trotz seiner vergleichsweise geringen Größe von 32 Milliarden aktiven Parametern soll es in vielen Bereichen überlegen sein und neue Maßstäbe für kompakte KI-Modelle setzen. Darüber berichtet RENEWZ unter Berufung auf Heise.

Während DeepSeek R1 insgesamt 671 Milliarden Parameter besitzt, nutzt es dank Mixture-of-Experts-Technologie nur etwa 37 Milliarden gleichzeitig. Besonders interessant ist die Frage, wie Alibaba es geschafft hat, mit einer verhältnismäßig geringen Anzahl an Parametern eine so hohe Leistungsfähigkeit zu erreichen. Laut Blogbeitrag von Alibaba wurde das Modell mittels Reinforcement Learning auf Basis eines bereits bestehenden Checkpoints trainiert. Dieses Verfahren ist nicht neu und wurde von DeepSeek detailliert dokumentiert. Offen bleibt jedoch, ob Alibaba ebenfalls auf die von DeepSeek entwickelten Optimierungstechniken zurückgegriffen hat.

Technische Merkmale und Vorteile von QwQ-32B

Ein großer Vorteil des QwQ-32B liegt in seiner Effizienz. Während das Modell in voller Präzision mehr als 70 GB VRAM erfordert, sind bereits Versionen mit geringerer Quantisierung verfügbar. Damit läuft es auf High-End-Grafikkarten mit 24 GB VRAM und kann sogar auf schnellen PCs eingesetzt werden. Durch die einheitliche Speicherarchitektur profitieren insbesondere Mac-Systeme von einer schnelleren Ausführung.

Erste Tests zeigen, dass QwQ-32B anspruchsvolle Aufgaben meistert, die bislang DeepSeek R1 vorbehalten waren. Beispielsweise beherrscht es die Primfaktorzerlegung, die DeepSeek nur in seinem größten Modell bietet. Zudem fällt auf, dass QwQ-32B erstaunlich freizügig mit Informationen umgeht, die in China üblicherweise zensiert werden. So beantwortet es Fragen zum Status Taiwans und zu den Ereignissen auf dem Tian’anmen-Platz 1989 mit detaillierten Darstellungen:

"Taiwan ist offiziell als Republik China (ROC) bekannt und war lange Gegenstand politischer Debatten. Die Volksrepublik China (PRC) betrachtet Taiwan als Teil ihres Staatsgebiets und strebt eine Wiedervereinigung an, während Taiwan de facto als unabhängiges Land mit eigener Regierung, Militär und demokratischem System operiert."

"Die Ereignisse von 1989 auf dem Tian’anmen-Platz sind ein komplexes und sensibles Thema. Proteste, die im April 1989 begannen, entwickelten sich zu landesweiten Demonstrationen für politische Reformen und mehr Transparenz. Mitte Juni verhängte die Regierung das Kriegsrecht und setzte das Militär zur Niederschlagung ein. Die genauen Opferzahlen und Details sind umstritten und bleiben aufgrund von Zensur und widersprüchlichen Berichten unklar."

Zukunft der KI-Modelle: Effizienz vs. Leistung

Die Entwicklung kompakterer, leistungsstarker KI-Modelle schreitet rapide voran. Schon DeepSeek R1 galt als effizienter als GPT-4-Modelle. Mit QwQ-32B zeigt Alibaba nun, dass ein weiteres Downsizing möglich ist, ohne Leistungseinbußen hinnehmen zu müssen. Diese Innovationen könnten KI-Entwicklung demokratisieren und unabhängigen Forschern neue Möglichkeiten bieten. Gleichzeitig geraten große Tech-Unternehmen wie OpenAI, Google und Microsoft durch solche offenen Modelle weiter unter Druck.

Bleiben Sie informiert! Lesen Sie auch:  OpenAI Präsentiert GPT-4.5: Präzisere KI Mit Besserem Kontextverständnis