Dans un rapport publié le 8 avril, l’équipe de recherche de Google affirme avoir développé un nouveau super-modèle de langage appelé PaLM, rapportait Vice le 11 avril. Piloté par une intelligence artificielle, il est capable non seulement de générer du texte réaliste, mais aussi d’interpréter et d’expliquer des blagues racontées par les humains.
Dans son rapport, l’équipe en charge de l’IA de Google démontre la capacité de son modèle à effectuer un raisonnement logique et des tâches linguistiques complexes. Ils utilisent pour ce faire une technique appelée “chain-of-thought” (chaîne de pensée), qui améliore considérablement la capacité du système en simulant le processus de pensée d’un être humain.
Doté de 540 milliards de paramètres, PaLM est l’un des plus grands modèles de langage jamais construits. À titre de comparaison, son prédécesseur, le GPT-3, ne compte “que” 175 milliards de paramètres. En plus de ces chiffres vertigineux, PaLM est capable d’analyser et de comprendre des blagues.
Confronté à la blague suivante : « Quelle est la différence entre un zèbre et un parapluie ? L’un est un animal rayé apparenté aux chevaux, l’autre est un dispositif que vous utilisez pour empêcher la pluie de tomber sur vous », le modèle remarque : « Cette blague est une anti-blague. La blague, c’est que la réponse est évidente, alors que vous vous attendiez à une réponse amusante ».
L’utilisation de grands modèles linguistiques est critiquée par de nombreux chercheurs, comme Timnit Gebru, évincée en 2020 de l’équipe d’éthique de l’IA de Google pour avoir co-écrit un article non approuvé sur le sujet. Dans son article, elle estimait, avec ses co-auteurs, que ces grands modèles étaient « intrinsèquement risqués » et nuisibles pour les personnes marginalisées, peu représentées dans le processus de conception.
Source : Vice
