Tencent libera Hy4, un modelo de 770.000 millones de parámetros

Tencent ha publicado como código abierto Hy4 preview, un modelo de lenguaje con 770.000 millones de parámetros totales, lo que lo sitúa entre los mayores modelos liberados abiertamente hasta la fecha.

La cifra que más importa para ejecutarlo es menor. Hy4 emplea un diseño de mezcla de expertos, en el que solo una parte de la red interviene en cada token. Unos 49.000 millones de parámetros quedan activos por token, repartidos en una estructura de 78 capas, de las cuales 77 usan el esquema de mezcla de expertos con 256 expertos enrutados y uno compartido. Eso mantiene el coste de servir el modelo muy por debajo de lo que sugeriría la cifra de 770.000 millones.

La ventana de contexto supera el millón de tokens. Tencent orienta el modelo al trabajo de productividad: programación, tareas de oficina, análisis de datos, desarrollo de videojuegos e investigación científica. La compañía afirma que el entrenamiento usó datos elaborados junto a sus propios especialistas en ingeniería de software, videojuegos, finanzas y seguridad.

En cuanto al rendimiento, las cifras difundidas hasta ahora proceden de la propia Tencent y deben leerse así. En una evaluación ciega interna con 163 expertos y 203 tareas de ingeniería, Hy4 preview promedió 2,99 sobre 4,00, lo que según la empresa lo coloca ligeramente por delante de GLM-5.3, con 2,92, y de Kimi K3, con 2,94. Los márgenes son estrechos y todavía no se ha publicado ninguna medición independiente del modelo. Tencent también informó de una mejora del 31,8 % en el rendimiento de sus propios sistemas.

El modelo está en Hugging Face y es accesible a través de productos de Tencent como WorkBuddy, CodeBuddy, Yuanbao e ima, con acceso por API mediante Tencent Cloud TokenHub y OpenRouter. Los precios de la API figuran en 0,834 dólares por millón de tokens de entrada y 2,501 dólares por millón de tokens de salida, con 0,042 dólares por millón en aciertos de caché.

Tencent describe el lanzamiento como una versión preliminar y adelanta que llegará el siguiente grupo de modelos de la serie Hy4. La empresa no ha detallado las condiciones concretas de licencia.

Divulgación: el proceso editorial de NewUJ utiliza los modelos Claude de Anthropic, y Anthropic compite con Tencent en modelos de inteligencia artificial.