Des universités suisses vont lancer un modèle de langage d’IA open source

Dans une initiative pionnière qui place la Suisse à l’avant-garde du développement d’une IA éthique, l’EPFZ et l’EPFL ont annoncé leur collaboration pour créer le premier grand modèle de langage public et open source du pays. Prévu pour 2025, le projet marque une rupture importante avec les modèles d’IA propriétaires dominés par les géants technologiques américains et chinois. Cette initiative menée par la Suisse met l’accent sur la transparence scientifique et un développement éthique, établissant une nouvelle norme pour une innovation responsable en matière d’IA en Europe.

Ce projet ambitieux, mené dans le cadre de la Swiss AI Initiative lancée en décembre 2023, constitue une collaboration remarquable au sein du monde académique suisse. Plus de 70 spécialistes de l’IA de l’EPFZ et de l’EPFL travaillent ensemble, sous la coordination du nouvel Institut national suisse pour l’IA. Cette démarche collaborative, qui réunit plus de 10 institutions suisses, témoigne de la volonté de la Suisse de mettre en commun ses ressources intellectuelles pour faire progresser la technologie. Le projet montre que le pays peut rivaliser avec les géants technologiques mondiaux tout en perpétuant sa tradition d’excellence scientifique et de précision.

Le superordinateur Alps, une infrastructure de pointe équipée de plus de 10 000 puces NVIDIA Grace Hopper, est au cœur de ce projet novateur. Cette puissance de calcul permettra d’entraîner le modèle de langage sur un vaste jeu de données comprenant du code, des données mathématiques et des textes dans plusieurs langues. Les caractéristiques techniques témoignent de la volonté de la Suisse de concevoir des systèmes d’IA robustes et évolutifs, capables de rivaliser avec des modèles existants comme ChatGPT, Claude, Gemini et Grok. L’accent mis sur une infrastructure de calcul haute performance doit permettre au modèle d’effectuer des tâches informatiques complexes tout en respectant les standards suisses de précision et de fiabilité.

Le modèle suisse se distingue par ses impressionnantes capacités linguistiques, avec un jeu de données d’entraînement couvrant plus de 1 500 langues. Avec une répartition équilibrée entre 60 % de contenu en anglais et 40 % de contenu dans d’autres langues, le modèle reflète l’héritage multilingue de la Suisse et son engagement en faveur de l’inclusion à l’échelle mondiale. Comme l’a souligné Antoine Bosselut, de l’EPFL, cette priorité donnée au multilinguisme est présente depuis le début du projet. Cette approche garantit la pertinence et l’utilité du modèle dans des contextes variés à travers le monde. Il pourrait ainsi devenir un outil précieux pour les organisations internationales et les communautés multilingues du monde entier.

Dans un secteur dominé par les systèmes propriétaires, le modèle suisse se démarque en défendant la transparence et le développement d’une IA éthique. Comme l’a souligné Imanol Schlag, du centre d’IA de l’EPFZ, le caractère entièrement ouvert du modèle permet des applications fondées sur une grande confiance et fait progresser la recherche sur les risques et les possibilités de l’IA. L’engagement à rendre publics le code source, les poids du modèle et les données d’entraînement, et à permettre leur reproduction, favorise l’adoption dans différents secteurs tout en garantissant la redevabilité. Cette démarche est conforme aux valeurs européennes et aux exigences réglementaires, et pourrait influencer les normes mondiales de développement et de déploiement de l’IA. Le projet illustre la tradition suisse de promotion de la transparence et de la prise en compte des considérations éthiques dans le progrès technologique.