Yuchen Jin
Co-founder & CTO
DeepSeek pourrait déclencher l’âge d’or des puces chinoises :
– DeepSeek V3 prend en charge l’inférence sur les puces Huawei Ascend dès le premier jour
– Le Huawei 910C (concurrent du H100 de Nvidia), peut faire à la fois de la formation et de l’inférence
– Le principal atout de Nvidia est CUDA (logiciel + écosystème), Huawei maintient son propre référentiel pytorch, qui permet l’importation d’une seule ligne pour porter CUDA vers CUNN (son propre CUDA).
– Les performances d’inférence du Huawei 910C atteignent 60 % des performances du H100 d’après l’expérience des développeurs. Grâce aux noyaux CUNN écrits à la main et aux optimisations, les performances sont supérieures.
Ma prédiction : – À mesure que les architectures de modèles d’IA convergent vers le Transformer, l’importance des compilateurs CUDA et PyTorch diminue puisque les ingénieurs peuvent écrire manuellement les noyaux dans CUNN pour optimiser considérablement les performances.
– Avec l’équipe de DeepSeek travaillant sur les puces Huawei, ils pourraient réduire considérablement leur dépendance à Nvidia, réduisant ainsi considérablement les coûts.
C’est un choix qu’ils doivent faire car ils ne savent jamais quand les États-Unis imposeront de nouvelles restrictions à l’exportation de GPU.
– La formation reste un domaine plus difficile dans lequel Nvidia conserve une forte avance; la stabilité de la formation à long terme semble être un obstacle majeur pour les puces chinoises.
brunobertez 