Tencent ouvre le code de Hy4, modèle à 770 milliards de paramètres

Tencent a publié en open source Hy4 preview, un grand modèle de langage totalisant 770 milliards de paramètres, ce qui en fait l’un des plus vastes modèles diffusés ouvertement à ce jour.

Le chiffre déterminant pour l’exécuter est plus modeste. Hy4 repose sur une architecture à mélange d’experts, où seule une portion du réseau traite un jeton donné. Environ 49 milliards de paramètres restent actifs par jeton, répartis sur une ossature de 78 couches, dont 77 utilisent le mélange d’experts avec 256 experts routés et un expert partagé. Le coût d’exploitation reste ainsi très inférieur à ce que laisse penser le chiffre de 770 milliards.

La fenêtre de contexte dépasse un million de jetons. Tencent destine le modèle au travail de productivité : programmation, bureautique, analyse de données, développement de jeux et recherche scientifique. L’entreprise indique avoir entraîné le modèle sur des données élaborées avec ses propres spécialistes du génie logiciel, du jeu vidéo, de la finance et de la sécurité.

Sur les performances, les chiffres diffusés jusqu’ici émanent de Tencent et doivent être lus comme tels. Lors d’une évaluation à l’aveugle interne portant sur 163 experts et 203 tâches d’ingénierie, Hy4 preview a obtenu une moyenne de 2,99 sur 4,00, ce qui le place selon l’entreprise légèrement devant GLM-5.3 (2,92) et Kimi K3 (2,94). Les écarts sont faibles et aucune mesure indépendante du modèle n’a été publiée. Tencent fait également état d’un gain de débit de 31,8 % sur ses propres systèmes.

Le modèle est disponible sur Hugging Face et accessible via des produits Tencent comme WorkBuddy, CodeBuddy, Yuanbao et ima, l’accès par API passant par Tencent Cloud TokenHub et OpenRouter. Les tarifs affichés sont de 0,834 dollar par million de jetons en entrée et 2,501 dollars par million en sortie, avec 0,042 dollar par million pour les lectures en cache.

Tencent présente cette diffusion comme une préversion et annonce le prochain lot de modèles de la série Hy4. L’entreprise n’a pas précisé les conditions de licence associées.

Transparence : le processus éditorial de NewUJ utilise les modèles Claude d’Anthropic, et Anthropic est en concurrence avec Tencent sur les modèles d’IA.