On a voulu faire le test de Turing avec ChatGPT, mais ça ne s’est pas passé comme prévu

ChatGPT fascine le monde entier : c’est une IA performante qui imite très bien le langage humain. Le test de Turing est censé mettre à l’épreuve une intelligence artificielle. Serait-ce applicable et pertinent pour ChatGPT ? On s’est posé la question, on a voulu essayer… mais cela a amené plus de questions que des réponses sur notre rapport à ce genre d’IA aujourd’hui.

Une intelligence artificielle fait la Une de l’actualité. Son nom : ChatGPT. Conçue par OpenAI, elle est un outil conversationnel — un peu comme une FAQ ultra performante avec laquelle dialoguer. ChatGPT a été entraîné sur un large corpus de documents (écrits, vidéos, iconographiques…), pour pouvoir générer des réponses naturelles. Vous pouvez lui demander de rédiger un texte pour vous, de fournir une définition, de donner une recette de cuisine, et bien d’autres commandes.

L’outil est assez perfectionné et, depuis plusieurs jours, son langage à l’apparence très naturelle fascine le public comme les médias. Le terme d’intelligence artificielle semble alors nous plonger dans le futur : on pense aux IA et robots des films de SF, dont l’aptitude à la conversation les distingue à peine des humains.

On est bien loin de robots au comportement réellement humanisé, comme dans les œuvres de SF. Mais les questions sont déjà en gestation. // Source : Davis Entertainment

Il existe un test historique pour mettre à l’épreuve une IA : le test de Turing. Vous en avez probablement déjà entendu parler — en particulier depuis le film Imitation Game, le biopic de son inventeur, Alan Tuning. L’idée est finalement assez simple : un évaluateur est mis face à une machine et un humain, à l’aveugle (sans savoir qui est humain ou non), et si l’évaluateur ne distingue pas les deux et/ou se trompe, alors la machine a passé le test avec succès.

ChatGPT est présenté comme une IA conversationnelle. On s’est donc posé la question : peut-elle passer le test de Turing ? Mais la question fut rapidement à reformuler : est-ce même pertinent qu’elle le passe ? La réponse est non. Mais ce qui ressort de cette brève mise à l’épreuve montre

ChatGPT ne veut pas passer le test de Turing

Si vous essayez d’avoir une conversation réelle avec ChatGPT, ce sera comme se confronter à un mur. Il ne vous livrera jamais un conseil à proprement parler, ne réagira pas au partage de vos émotions, ne fera pas semblant d’avoir une personnalité. ChatGPT est une IA fonctionnelle, de service, qui n’est pas là pour imiter un ami.

Le test de Turing a donc une pertinence limitée dans ce cas. Il est même impossible à mettre en œuvre dans de bonnes conditions, pour la bonne raison que cette IA ne cherche pas à se faire passer pour un humain. ChatGPT précise régulièrement en être une. Si vous lui demandez son avis sur un aliment, par exemple, il répondra : « Je suis désolé, mais je suis une intelligence artificielle et je ne suis pas capable de goûter ou de préférer des thés. Mon but est de fournir des informations et des réponses aux questions que vous pourriez avoir, mais je ne suis pas capable de ressentir des sensations comme le goût ou l’odeur. »

ChatGPT se distingue ainsi nettement de certains chatbots récents qui visent à se faire passer pour des relations humanisées — comme l’app Replika qui a acquis une forte popularité avec des publicités (assez toxiques) vantant une IA relationnelle du quotidien « plus simple à vivre qu’une vraie petite amie ou un vrai petit copain ».

D’ailleurs, ChatGPT lui-même nous a répondu ne pas pouvoir passer le test de Turing, quand on lui a posé la question. Ainsi, quand on lui a demandé « Peux-tu passer le test de Turing ? », il a répondu : « Comme je suis un programme d’ordinateur, je pourrais certainement passer ce test si on me le présentait. Cependant, comme je suis un assistant virtuel et non pas un programme spécialement conçu pour passer ce test, je ne peux pas dire avec certitude que je réussirais. »

Après qu’on a reposé la question différemment (« Puis-je te faire passer le test de Turing ? »), il complète : « En tant qu’assistant virtuel, je suis conçu pour aider les gens en répondant à leurs questions et en fournissant des informations, mais je ne suis pas un programme conçu spécifiquement pour passer ce test. Par conséquent, je ne peux pas dire avec certitude si je réussirais ou non le test de Turing si on me le présentait. »

Quand on demande à ChatGPT s’il peut passer le test de Turing. // Source : Copie d’écran Numerama de ChatGPT

ChatGPT est déjà sur la ligne de crête de l’IA

Mais on sent que, parfois, on se situe sur la ligne de crête du futur de l’intelligence artificielle avec ChatGPT. La façon dont la question est formulée peut provoquer un échange assez étrange, lorsqu’on touche à des sujets existentiels ; avec des réponses bel et bien humanisées sur certains points.

Ainsi, lorsqu’on lui a demandé « Qu’est-ce que l’amour ? », il a répondu une définition très classique. Mais, en reformulant la question autrement, « Qu’est-ce que l’amour selon toi ? », il introduit sa réponse de manière incarnée : « Pour moi, l’amour est un sentiment profond d’affection, de respect et de passion pour une personne, un animal ou une chose. (…) »

Extrait de dialogue sur l’amour avec ChatGPT. // Source : Capture d’écran Numerama (7 décembre 2022)

De même, lorsqu’on lui a demandé de définir ce qu’est un humain… le hasard de l’algorithme a produit un texte dans lequel ChatGPT s’est inclus, en utilisant le pronom nous : « Un humain est un être vivant appartenant à l’espèce Homo sapiens. Nous sommes des êtres sociaux, intelligents et capables de raisonner et de communiquer. Nous avons des émotions, des besoins et des désirs. Nous sommes des êtres sensibles et complexes, capables de vivre de nombreuses expériences différentes au cours de notre vie. »

Dialogue sur l’humain avec ChatGPT. // Source : Capture d’écran Numerama (7 décembre 2022)

Ce « nous » peut revenir lors d’autres échanges. Ce fut le cas lorsqu’on l’a interrogé sur « Quelle est la pire émotion ? », où sa réponse, incluant à nouveau ce pronom, pourrait de fait être attribuable à un humain si on la lit à l’aveugle : « (…) Dans tous les cas, les émotions sont importantes et peuvent être utiles pour nous aider à comprendre et à gérer nos expériences. »

Dialogue sur l’émotion avec ChatGPT. // Source : Capture d’écran Numerama (7 décembre 2022)

Avec des questions formulées ainsi, il serait donc possible de faire passer un test de Turing à ChatGPT. Mais, encore une fois, les bonnes conditions ne seraient pas réunies : il y a une part importante de hasard et ChatGPT est susceptible, à tout moment, de révéler lui-même son identité de machine si une question est trop humanisée.

La façon dont un algorithme est programmé a un impact déterminant sur la façon dont on le perçoit. Un chatbot peut très bien être conçu pour donner des réponses au hasard, et très génériques, mais en les noyant systématiquement dans des éléments semblants naturels à notre perception humaine (des éléments de langage comme : j’aime, je déteste, je pense, je trouve que, et toi).

GPT est basé sur une imitation du langage humain

D’un point de vue plus futuriste, la question peut se complexifier en cas d »incarnation physique — en présence d’un robot qui nous ressemble. D’un côté, on devine facilement qu’il s’agit d’une machine ; de l’autre, un visage fait appel à nos émotions. Le robot Ameca, conçu par Engineered Arts, dispose d’expressions faciales censées être réalistes (joie, interrogation, tristesse, dégout…). Le modèle de langage GPT-3 lui a été intégré. En clair, une IA de type chatbot a été intégré au robot. La vidéo qui en découle montre une discussion très poussive, mais tout de même perturbante.

Or, le GPT-3 intégré à Ameca est l’ancêtre de ChatGPT, qui est lui-même un dérivé de GPT-3.5. C’est un modèle de langage conçu littéralement pour imiter le langage humain. Ce qui n’est qu’en gestation avec ChatGPT relève donc bel et bien des contours d’un futur un peu plus flou quant à notre relation humain/machine.

Il y a un facteur psychologique. Récemment, un ingénieur de Google a clamé dans tous les médias que l’IA sur laquelle il travaillait était « aussi consciente qu’un collègue ». Il était ainsi persuadé d’être son ami. Il a finalement été licencié pour cette déclaration qui ne reposait pas sur des bases scientifiques.

Tout comprendre à l'expérimentation d’OpenAI, ChatGPT


Football news:

Luc et Theo Hernandez sont tous deux à la base de la France sur la Belgique. Ils ont grandi en Espagne et voulaient jouer pour elle, mais ils ont changé d'avis
Les saoudiens ont quand même acheté Newcastle. Le Rêve des fans de Newcastle est devenu réalité: Mike Ashley, détesté, vend enfin le Club. Il a été acheté Par le fonds d'investissement public du gouvernement saoudien (PIF - Public Investment Fund). C'est le fonds officiellement privé le plus riche au monde. L'accord a déjà été annoncé officiellement, il a été approuvé par l'APL
France-en finale de la Ligue des Nations: 0-2 contre la Belgique, la 90e victoire de Theo Hernandez (sorti en début de rencontre avec son frère)
L'APL croit que le Club n'a pas acheté l'Arabie saoudite, Shearer et les fans sont ravis, dans une réflexion médiatique lourde: le monde après l'enrichissement de Newcastle
Les recherches Тутберидзе dans les doubles de catane: a remplacé le programme Tarasova et Morozov - et Глейхенгауз est triste, que ses idées y pas place
Le footballeur russe est le mème du top 2 de l'endurance dans FIFA 22. La fatigue est une illusion
Un parcours unique pour la construction de la plus rapide piste urbaine de F-1: il est préparé pour un grand prix de 660 millions de dollars, le départ-dans 2 mois

3:15 Dans les transports en commun, la carte bancaire comme coupe-file
3:00 Les écoles françaises ne veulent pas devenir des forteresses
3:00 Quand l’Inde découvre l’amour au-delà du mariage
3:00 La guerre entre Israël et le Hamas bouscule l’ordre mondial, au profit de Moscou et Pékin
2:52 Etats-Unis : Au moins 22 morts dans une triple fusillade de masse dans le Maine, le tireur en fuite
2:39 Au moins 22 morts dans une tuerie de masse aux États-Unis
2:35 Etats-Unis : un tireur fait au moins vingt-deux morts dans une ville du Maine
2:23 Gérald Darmanin : Sans apporter de preuves, le ministre de l’Intérieur persiste et signe sur Benzema
2:10 Etats-Unis : Au moins 22 morts dans une triple fusillade de masse dans le Maine, selon les médias américains
2:07 Etats-Unis : un accord provisoire entre Ford et le syndicat UAW a été trouvé
2:00 Le Liaoning, nouveau symbole du volontarisme industriel de la Chine
1:55 États-Unis : des fusillades font au moins seize victimes dans l'État du Maine, un homme recherché
1:53 Bijou de Mbappé, force de caractère, Zaïre-Emery en Bleu... Les mots de Luis Enrique après PSG-Milan
1:48 Au moins 16 morts dans une tuerie de masse aux États-Unis
0:56 «Pourquoi t’es parti célébrer alors» : quand Mbappé chambre Dembélé (vidéo)
0:30 Evasion de Rédoine Faïd : Le « roi de la belle » condamné à 14 ans de réclusion
0:25 Donald Trump écope d’une nouvelle amende, sa défense « pas crédible », tranche le juge
23:26 Marseille-AEK Athènes : à l'OM, l'attaque cherche encore sa voix
22:45 Procès Rédoine Faïd : le «roi de la belle» condamné à 14 ans de prison ferme
22:30 "La crise environnementale est une urgence de santé mondiale" : 200 revues scientifiques écrivent à l'OMS
22:26 "Le bel indifférent" de Jean Cocteau : indifférent... ou pas. Une chronique à quatre mains et des avis différents
22:25 Le trumpiste Mike Johnson, enfin un nouveau speaker pour la Chambre des représentants
22:25 Etats-Unis : Mike Johnson, l’inconnu trumpiste devenu speaker de la Chambre des représentants
22:20 Bijou de Mbappé, force de caractère, Zaïre-Emery en Bleu, : les mots de Luis Enrique après PSG-AC Milan
22:13 Essayer ensemble, c’est oser réussir
22:12 "Ravenne" de Judith Herrin : quand l’Occident naît des ruines de l’Empire romain. Un éclairage intéressant sur une période mal connue
22:12 Ligue des champions : Evanilson voit triple, Newcastle les pieds dans le tapis… les Tops/Flops de la soirée
22:09 Saint-Estève (66) : à peine sorti de prison, Nordine tente un cambriolage mais le voleur aux 14 arrestations tombe sur… la maison d’un policier
22:02 "Trust" d'Hernan Diaz : le grand roman américain sur le capitalisme ? Des qualités certes, mais il ne faut pas être trop difficile
21:57 Guerre Israël-Hamas. La visite de Macron en Égypte, Netanyahou estime qu'il devra rendre des comptes : l'essentiel de la journée
21:51 "L'effet papillon" de Taha Mansour : et si c'était possible ?
21:46 Sécurisation des JO : pas de décision sur un recours à l’armée avant “début 2024”, selon le ministre des sports, Amélie Oudéa-Castéra
21:34 Le PSG retrouve le sourire face à Milan
21:28 Ligue des champions : Manchester City et Haaland s'imposent sans trembler
21:28 Revenu solidarité jeunes : Lyon continue d’explorer son bon filon
21:27 Les notes du PSG contre l'AC Milan : Zaïre-Emery le délice, Mbappé le poison, Kolo Muani le buteur décevant
21:27 PSG-AC Milan : «On est une équipe, ça se voit sur le terrain», savoure l'homme du match Zaïre-Emery
21:06 Les notes du PSG contre l'AC Milan : Mbappé toujours là, Zaïre-Emery délicieux, Kolo Muani buteur décevant
21:05 Ligue des Champions : avec un bijou signé Mbappé, le PSG s'offre Milan et prend la tête
20:59 Le PSG corrige l'AC Milan et se relance en Ligue des champions
20:56 PSG - AC Milan EN DIRECT : Kang-in Lee se joint à la fête... C'est la piquette pour les Italiens... Suivez le match avec nous...
20:55 Ligue des Champions : le PSG surclasse l’AC Milan et prend la tête de son groupe
20:54 Ligue des champions : le PSG domine logiquement l'AC Milan et reprend la tête de son groupe
20:53 PSG - Milan : Paris lave l'affront de Newcastle en corrigeant les Milanais, le résumé du match
20:45 Seine-Saint-Denis : pour 71% des habitants du “93” il est « facile de vivre en Seine-Saint-Denis lorsqu’on n’est pas blanc », alors que 69% d’entre eux jugent que c’est « difficile » dans le reste de la France (sondage Harris / Toluna)
20:40 "Des nuls" : l'aveu de taille de Michael Goldman sur le casting de la nouvelle promo de la "Star Academy"
20:33 Dinan (22) : “éteignez-le wesh, mets lui des pénalty”. Deux frères frolent la mort après avoir été tabassés car ils étaient roux. 4 accusés, dont un Malgache en OQTF, sortent “l’air victorieux” du tribunal, n’ayant reçu que des peines de prison aménagées
20:33 L’ONU, ce punching-ball mondial [Le point de vue de CL]
20:30 Guerre Hamas-Israël : Le joueur niçois Youcef Atal suspendu sept matchs après sa publication sur le conflit
20:30 Gérald Darmanin maintient sa position sur Karim Benzema qui tweete «de façon sélective»
20:27 Ligue 1. Racing : ces chiffres qui inquiètent
20:27 Sécu alimentaire : la Gironde commande à la carte
20:23 Ligue 1 : Montpellier-Clermont sera rejoué, le club héraultais sanctionné d’un point
20:22 Loi immigration: LR durcit le ton et maintient ses exigences constitutionnelles
20:19 PSG - AC Milan EN DIRECT : Kolo Muani met un Paris transfiguré à l'abri... Suivez le match avec nous...
20:19 Ligue 1 : Youcef Atal suspendu sept matches après sa publication sur le conflit Hamas-Israël
20:15 Nikos Aliagas, Michael Goldman et les nouveaux profs de la "Star Academy" recadrent Yann Barthès en direct
20:11 PSG - Milan - EN DIRECT : cette fois le break est fait ! Suivez le match en live
20:09 Explosion à l’hôpital Al-Ahli Arabi de Gaza : qu’apporte l’enquête du «New York Times» ?
20:08 PSG-AC Milan : les supporters contre «toute forme de terrorisme» et les «crimes de guerre à Gaza»
20:04 "Tapie" de Tristan Séguéla et Olivier Demangel : l’ascension de Nanard, du "Wonderman" au mitard
20:04 PSG - Milan - EN DIRECT : Mbappé et Zaïre-Emery illuminent la rencontre, suivez le match en live
20:04 Arrêt du match MHSC-Clermont : Montpellier connaît sa sanction et elle est lourde
20:01 Mort d'une femme de 62 ans renversée par un bus en traversant un passage piéton avec son conjoint
20:00 La musique émouvante combat aussi bien la douleur que certains analgésiques
20:00 L'acteur Erik Jensen (The Walking Dead ) annonce être atteint d'un cancer à un stade très avancé
19:58 Guerre Hamas – Israël EN DIRECT : L'OMS presse le Hamas de relâcher tous les otages « pour raisons de santé »...
19:58 « L’Iris blanc » : que vaut le dernier Astérix ?
19:57 Ligue des Champions : en vidéo, la spéciale de Kylian Mbappé qui délivre le PSG
19:51 Construire un monde meilleur passe par les actions locales
19:48 Un chêne tombe sur leur voiture et tue le conducteur : un mort et un enfant de 7 ans gravement blessé
19:48 En direct. Guerre Israël-Hamas : Netanyahou dit qu'il devra lui aussi « rendre des comptes » sur les « défaillances » sécuritaires
19:45 Ultragauche : Jusqu’à six ans de prison requis contre les sept militants jugés pour un projet d’action violente
19:45 Guerre Hamas - Israël : Benjamin Netanyahu affirme qu'il devra aussi "rendre des comptes"
19:42 Ligue des Champions : la spéciale de Kylian Mbappé délivre le PSG (vidéo)
19:38 PSG - AC Milan EN DIRECT : Kylian Mbappé libère Paris après un exploit personnel... Suivez le match avec nous...
19:38 Guerre en Ukraine : des débris de drones endommagent des installations essentielles, le point sur la situation
19:37 PSG - Milan - EN DIRECT : un éclair de génie lance le choc, suivez le match en live
19:37 Expérimentations au niveau local : les essais essaiment
19:31 Guerre en Ukraine : Choïgou inspecte des troupes, des débris de drones endommagent des installations... le point sur la situation
19:30 Alerte à la bombe dans des robots livreurs sur un campus américain
19:30 "Agathe la chaudasse", Jean-Michel Maire se lâche complètement sur "TPMP"
19:29 Situation humanitaire critique à Gaza
19:28 Le chômage remonte en France, un retournement de tendance?
19:28 PSG - AC Milan EN DIRECT : Le ballon brûle les pieds des Parisiens, le trio offensif inexistant... Suivez le match avec nous...
19:28 Russie: tirs de missiles balistiques simulant une frappe nucléaire
19:21 PSG-AC Milan : le magnifique hommage à Jean-Paul Belmondo avant le match
19:13 PSG - AC Milan EN DIRECT : Festival dans les tribunes, Donnarumma insulté, le Parc est chaud pour le choc... Suivez le match avec nous...
19:12 États-Unis : un allié de Trump élu président de la Chambre des représentants, après des semaines de chaos
19:08 JO 2024 : pas de décision avant «début 2024» quant à un recours à l’armée pour sécuriser l’événement
19:08 Résultat Loto (FDJ) : le tirage de ce mercredi 25 octobre 2023 [EN LIGNE]
19:08 Au Liban, l’angoisse d’un «conflit dont le pays n’a pas besoin»
19:04 Au synode, l'improvisation choc du pape François en faveur des femmes
19:03 Il n'y a qu'un pays au monde où Snoop Dogg ne peut pas acheter de drogue
19:00 Comment fonctionne une entreprise dont l'actionnaire majoritaire est une fondation ? L'exemple de Pierre-Fabre
19:00 Valérie Benaïm et Géraldine Maillet décrochent chacune une émission : nouvelles grandes annonces de Cyril Hanouna !
18:57 Ligue des champions : le FC Barcelone assure l’essentiel face au Shakhtar
18:53 Le spectacle Bernadette de Lourdes non éligible à l’offre collective du pass Culture. Il est accusé de ne pas respecter la laïcité par le rectorat de Versailles
18:49 PSG - Milan - EN DIRECT : suivez le choc en live
18:47 Guerre Israël-Hamas : l’Iran, agent déstabilisateur du Proche-Orient