En dépit de leur performance, les outils de traitement automatique de langues dont sont friands les utilisateurs, car leur suggèrent des mots avec lesquels finir leurs phrases, inquiètent parfois. Le GPT-3 élaboré par OpenAI et sorti en mi-2020 en est un exemple, une application capable de produire des textes tellement naturels qu’il est difficile de les différencier des ceux écrits par des hommes. Il y a aussi BERT élaboré par Google qui fournit l’analyse sémantique indispensable à un grand nombre d’applications. Ces dernières vont de la recherche d’informations jusqu’à la traduction automatique.

Qu’est-ce que ces applications peuvent réellement faire ? Comment s’y prennent-elles ? Que risque-t-on en les utilisant ?

Concrètement, le fonctionnement de ces IA se base sur l’analyse des gigantesques volumes d’informations langagières pour en obtenir un modèle de langage spécifique. GPT-3 s’y prend par exemple en fournissant un nouveau mot pour compléter une suite de mots ou d’unités linguistiques dans un ordre conventionnel. Il parvient ainsi à construire une phrase ou un passage correct dans la langue travaillée. L’outil est cependant conçu pour ne pas fournir la même phrase ou le même paragraphe via un fragment préalable. Il est finement élaboré pour générer une quantité illimitée de textes à partir de ces mêmes éléments. Cela en fait un outil très performant dont les utilisateurs adorent se servir.

Un tel fonctionnement n’est toutefois pas une nouveauté en soi, car on l’a déjà analysé et exploité depuis le début du 20ème siècle au moins. En effet, les outils de correction orthographique, de transcription de paroles ou de traduction automatique se servaient déjà de cette technique depuis les années 70.

Dans la transcription de la parole, l’outil choisit par exemple parmi différents mots possibles le mot le plus adéquat suivant les 2 ou 3 mots qui le précèdent. C’est une technique simple, mais très performante, surtout quand le nombre de mots à travailler est relativement important, car permet d’obtenir des résultats précis.

Ce modèle vient d’une étape d’observation appelée apprentissage. Il s’agit de l’étude d’un gigantesque nombre d’exemples, ensuite de l’encodage des informations comme l’enregistrement du contexte gauche de tous les mots d’un passage ou d’une phrase donnée.

Une Intelligence artificielle fait beaucoup de « lectures »

Leur complexité différencie toutefois les modèles de langage récents de ceux qui existaient auparavant. En effet, les tout récents ont nécessité un énorme volume de textes voire des milliers et des milliards de mots pour être parfaitement mis au point. Cette complexité se définit suivant le nombre de paramètres utilisés, pouvant aller jusqu’à des centaines par mot et qui représentent des contextes d’utilisation spécifiques. Pour GPT-3, on en compte jusqu’à 175 Mds, le volume de documents utilisés pour la conception du modèle l’est aussi. Le modèle a nécessité des centaines de milliards de mots existants sur le Net, ce qui dépasse largement ce qu’une personne adorant lire peut espérer faire toute sa vie.

D’ailleurs, il ne s’agit plus de restreindre le contexte aux mots sur la gauche du mot concerné, les réseaux de neurones entrent aussi en compte. Il en est de même pour les modèles récents appelés transformers ou les « T » dans BERT et GPT-3. Ceux-ci ont en effet facilité le développement de techniques performantes en explorant dans le contexte les contenus linguistiques favorables à l’analyse même s’il s’agit de séquences discontinues par exemple.

Ces modèles sont très efficaces, mais sont également trop variés et complexes qu’ils sont difficiles à comprendre. En théorie, ils enregistrent des données sur les mots et sur leur usage dans les différents contextes existants. Ainsi, dans la pratique, ils peuvent généraliser comme le fait GPT-3 quand générant un texte, il arrive à gérer sans aucune faute les accords de verbe ainsi que la concordance des temps, même dans des phrases complexes. Certes, il peut faire des erreurs, mais très rarement, sur des phénomènes internes à la phrase.

Comment ces erreurs peuvent-elles exister ? GPT-3 a bien-t-il enregistré toutes les possibilités certifiées ou existantes dans les informations qui ont servi à l’apprentissage ? A-t-il peut-être déduit une règle plus généralisée sur le concept d’accord ? Ces questions suscitent de vifs débats et une partie importante de la recherche actuelle vise à explorer ces modèles et à appréhender leur fonctionnement ainsi que l’information encodée.

Répéter sans comprendre le sens

Ce dont on est sûr est qu’en dépit de leur prouesse légendaire, ces applications restent quand même très « idiotes ». Certes, elles manipulent des mots, produisent des phrases réalistes, mais ne connaissent rien du monde réel. Ce ne sont que des perroquets qui répètent les mots sans en comprendre le sens. Comme les données avec lesquelles on les a conçues incluent aussi des informations chiffrées ou des programmes informatiques, ces outils peuvent effectuer de simples opérations mathématiques et générer du code informatique. Certains de leurs calculs peuvent ainsi être faussés, même sur des cas simples sans qu’on sache pourquoi.

C’est exactement ce qui se passe quand, au début, leurs textes sont corrects, mais deviennent de plus en plus absurdes après 1 ou 2 paragraphes. Cela vient de leur conception même qui ne permet pas de contrôler ce que ces outils vont produire. Aussi, il n’est pas si aisé de les combiner avec des bases de connaissances structurées extérieures pour les rendre tels des systèmes capables de répondre correctement à des questions judicieuses sur le domaine juridique ou médical par exemple. Quoi qu’il en soit, même à ce niveau, on reconnaît déjà leur performance obtenue des données accumulées depuis la Toile.

Les côtés négatifs du langage artificiel

À l’instar de tout progrès scientifique, ces applications ont leurs côtés positifs et côtés négatifs. Parmi les premiers, il y a leur capacité à produire des textes pratiquement corrects et cohérents tant sur le plan grammatical que syntaxe et même sur la tonalité. En effet, relativement simples, ils s’adaptent à différents usages :

 générer des textes,

 concevoir des quizz ou des questions-réponses,

 traduire automatiquement des phrases, etc.

Ce sont les utilisations les plus recherchées en ligne actuellement.

Les côtés négatifs de ces applications se traduisent en outre par le risque d’inonder le Net d’un nombre incalculable de fake news et de textes erronés. La recherche et l’usage de ces modèles sont aussi susceptibles de faire monter de manière conséquente l’empreinte carbone du monde digital. En effet, ce dernier a déjà des conséquences néfastes sur l’environnement et en proposer d’autres soi-disant moins polluants ne règle pas le problème.
L’autre souci auquel on ne trouve pas encore de solution est que ces outils reflètent les informations sur lesquelles ils sont entraînés. Ils risquent ainsi de produire encore plus de biais dans la société en général.

On a aussi précisé qu’il n’y a que les GAFA, outre quelques entreprises numériques de grande envergure, qui peuvent produire ces applications. Cela pose la question quant aux relations entre ces entreprises et les États concernant leur puissance et leur régulation.