Tencent stellt Hy4 mit 770 Milliarden Parametern quelloffen bereit

Tencent hat das große Sprachmodell Hy4 preview mit 770 Milliarden Parametern veröffentlicht und quelloffen bereitgestellt. Damit zählt es zu den größten bislang offen veröffentlichten Modellen.

Für den Betrieb ist eine kleinere Zahl entscheidend. Hy4 nutzt eine Mixture-of-Experts-Architektur, bei der für jeden Token nur ein Teil des Netzes arbeitet. Je Token sind rund 49 Milliarden Parameter aktiv, verteilt auf ein Rückgrat aus 78 Schichten, von denen 77 die Mixture-of-Experts-Struktur mit 256 gerouteten Experten und einem gemeinsamen Experten verwenden. Das hält die Kosten für den Betrieb deutlich unter dem, was die Zahl von 770 Milliarden nahelegt.

Das Kontextfenster übersteigt eine Million Token. Tencent richtet das Modell auf Produktivarbeit aus: Programmieren, Büroarbeit, Datenanalyse, Spieleentwicklung und wissenschaftliche Forschung. Für das Training seien Daten genutzt worden, die gemeinsam mit eigenen Fachleuten aus Softwareentwicklung, Gaming, Finanzwesen und Sicherheit entstanden sind.

Die bisher vorliegenden Leistungszahlen stammen von Tencent selbst und sind entsprechend zu lesen. In einer internen Blindbewertung mit 163 Fachleuten und 203 technischen Aufgaben erreichte Hy4 preview im Mittel 2,99 von 4,00 und lag damit nach Firmenangaben knapp vor GLM-5.3 mit 2,92 und Kimi K3 mit 2,94. Die Abstände sind gering, und eine unabhängige Messung des Modells liegt bisher nicht vor. Tencent berichtete zudem von 31,8 Prozent mehr Durchsatz in den eigenen Systemen.

Das Modell ist auf Hugging Face verfügbar und über Tencent-Produkte wie WorkBuddy, CodeBuddy, Yuanbao und ima erreichbar; der API-Zugang läuft über Tencent Cloud TokenHub und OpenRouter. Als API-Preise werden 0,834 Dollar je Million Eingabe-Token und 2,501 Dollar je Million Ausgabe-Token genannt, bei Cache-Treffern 0,042 Dollar je Million.

Tencent bezeichnet die Veröffentlichung als Vorschau und kündigt die nächste Modellgruppe der Hy4-Reihe an. Zu den konkreten Lizenzbedingungen machte das Unternehmen keine näheren Angaben.

Offenlegung: Der redaktionelle Prozess von NewUJ nutzt die Claude-Modelle von Anthropic, und Anthropic konkurriert bei KI-Modellen mit Tencent.