Dans le monde en constante évolution de l’intelligence artificielle, une révolution se profile à l’horizon, portée par les chercheurs de l’Allen Institute for AI (Ai2). Leur dernière création, un modèle de traitement du langage nommé FlexOlmo, promet de redéfinir les règles du jeu en permettant un contrôle sans précédent sur les données utilisées pour l’entraînement des IA, même après la construction des modèles. Cette innovation pourrait bien remettre en cause le paradigme actuel où de grandes entreprises d’IA absorbent massivement des données issues du web, des livres et autres sources, souvent sans tenir compte de la propriété des données, pour ensuite revendiquer la pleine propriété des modèles résultants.
Un nouveau paradigme pour le contrôle des données
L’approche avant-gardiste d’Ai2, expliquée par Ali Farhadi, le PDG de l’institut, innove par sa capacité à segmenter l’entraînement des données. Les propriétaires de données qui souhaitent contribuer au modèle FlexOlmo peuvent commencer par copier un modèle publiquement partagé, surnommé « l’ancre ». Ils entraînent ensuite un second modèle avec leurs propres données, fusionnent ce résultat avec le modèle ancre, et réintègrent le tout dans le modèle final en cours de construction.
Avantages de la contribution indépendante
– Les données ne sont jamais directement transférées.
– Possibilité d’extraire les données ultérieurement.
– Entraînement asynchrone sans coordination nécessaire entre les propriétaires de données.
Protection et modularité des données
FlexOlmo utilise une architecture appelée « mélange d’experts » pour combiner plusieurs sous-modèles en un modèle plus vaste et performant. Cette méthode permet de fusionner les capacités de sous-modèles entraînés indépendamment grâce à un nouveau schéma de représentation des valeurs au sein du modèle.
Tests et comparaisons
Pour tester leur approche, les chercheurs de FlexOlmo ont créé un jeu de données, Flexmix, à partir d’un mélange de données propriétaires et publiques. Le modèle FlexOlmo, avec ses 37 milliards de paramètres, a surpassé d’autres modèles dans toutes les tâches testées et a même obtenu des performances 10 % supérieures à celles d’autres méthodes de fusion de modèles entraînés indépendamment.
Répercussions légales et futur des modèles ouverts
L’approche FlexOlmo pourrait permettre aux entreprises d’IA d’accéder à des données sensibles de manière contrôlée, sans nécessiter leur divulgation pour construire le modèle final. Cependant, les techniques comme la confidentialité différentielle pourraient être nécessaires pour garantir la sécurité des données.
Le droit de propriété des données utilisées pour entraîner de grands modèles d’IA est devenu un enjeu juridique majeur. L’approche FlexOlmo pourrait ouvrir la voie à de nouveaux types de modèles ouverts, où différents propriétaires de données pourraient co-développer sans sacrifier la confidentialité ou le contrôle de leurs informations.
Articles similaires
- Ce modèle d’IA apprend sans cesse : découvrez comment il révolutionne la technologie!
- Victoire historique d’Anthropic sur les droits d’auteur de l’IA : un procès pour piratage à venir !
- Incendie dévastateur chez Elon Musk: un centre de données d’X en flammes!
- Meta remporte un procès historique sur le droit d’auteur IA: mais il y a un hic!
- Apple mise sur l’IA pour ses produits: manque-t-elle un modèle de pointe?