« Avec Timothée Lacroix et Guillaume Lample, nous avons créé Mistral AI parce que deux choses nous tenaient à cœur : faire émerger un champion européen et promouvoir une approche ouverte de la technologie » L’incipit de l’interview d’Arthur Mensch aujourd’hui dans Les Echos résume l’enjeu de l’émergence de LLM européens (et plus spécifiquement français) et « open-weight ». Ce n’est pas tant le chiffre de la levée qui est enthousiasmant que ce qu’elle dit : que certains des meilleurs investisseurs du monde sont aujourd’hui prêts à investir des montants significatifs dans une start-up européenne, et que cet argent permette le développement d’une technologie ouverte (open-weight).
Il y a, bien sûr, les impacts à terme sur la souveraineté et la création d’emplois en Europe, ou encore l’intérêt pour les entreprises d’avoir accès à une technologie à l’état de l’art qu’elles pourront adapter à leurs données et à leurs cas d’usages, mais aussi faire tourner sur leurs propres infrastructures (en gardant donc la maitrise) — ce pour des coûts 6 fois moins élevé qu’avec Llama 2 70B. Mais il est un sujet dont on parle peu et qui me semble être peut-être encore plus important : c’est celui de l’impact des LLM pour la culture européenne.
Les modèles de langage ont, en effet, ceci de formidablement puissant qu’ils intermédient notre relation à la sphère informationnelle. Il est probable que les interfaces que nous utilisons aujourd’hui, comme le navigateur sur lequel vous lisez peut-être ce message, soient demain largement remplacés par des robots conversationnels, que cela soit dans le domaine privé ou professionnel (pourquoi faire une recherche sur oui.sncf ou dans une base de donnée s’il suffit d’interagir avec un « concierge » extrêmement efficace ?).
Lorsqu’on demande à un Français qui a inventé l’avion, il y a des chances pour qu’il réponde Clément Ader (s’il répond ) — un Anglo-saxon répondra les frères Wright, un Brésilien Alberto Santos-Dumont. GPT4 apporte évidemment la deuxième réponse, à la fois car les contenus en langue anglaise sont massivement dominants sur Internet, mais aussi parce que le « substrat culturel » de son entrainement est un substrat anglo-saxon (américain, pour être plus précis). De manière plus générale, on peut voir un modèle de langage comme une forme de représentation du monde. Si l’ensemble des fournisseurs de LLM sont américains et propriétaires, alors les outils qui intermédient une part notre relation au monde seront tous « d’inspiration américaine ». Ce n’est pas mal en soi, mais cela emporte le risque d’un formatage culturel très puissant.
C’est pour cela qu’il est non seulement indispensable qu’il existe des fournisseurs de modèles européens (et africains, asiatiques, latino-américains…) mais aussi que des modèles « open-weight » à extrêmement performant (Mixtral 8x7b dépasse les performances de chatGPT) soient disponibles : la publication des paramètres permet en effet à chacun de maitriser et de façonner le comportement du modèle en fonction de ses cas d’usages et de la manière dont il ou elle souhaite que la technologie se comporte : par exemple pour l’adapter à un secteur professionnel particulier ou pour qu’elle s’adapte à tel ou tel espace culturel. On peut notamment penser à l’importance que chaque système éducatif puisse proposer à ses élèves des outils adaptés à leur âge et à leur culture.
