Ce qu’une mystérieuse chambre chinoise peut nous apprendre sur la conscience

Imaginez que vous soyez enfermé dans une pièce remplie de tiroirs empilés de papiers contenant des symboles étranges et énigmatiques. Au centre de la pièce se trouve une table sur laquelle se trouve un énorme manuel d’instructions rédigé dans un anglais simple que vous pouvez facilement lire.

Bien que la porte soit verrouillée, il y a une petite fente sur laquelle se trouve un rabat de boîte aux lettres en laiton. Par ce biais, vous recevez des messages portant les mêmes symboles énigmatiques que ceux qui se trouvent dans la pièce. Vous trouverez les symboles de chaque message reçu dans l’énorme manuel d’instructions, qui vous indique exactement quel papier choisir dans les tiroirs et envoyer par la boîte aux lettres en guise de réponse.

La chambre chinoise est l’une des expériences philosophiques les plus importantes sur la conscience et a influencé la façon dont l’IA et la sensibilité des machines sont perçues.

Leon Gao | Unsplash

À l’insu de la personne enfermée dans la pièce, les symboles énigmatiques sont en fait des caractères chinois. La personne à l’intérieur a, sans le savoir, tenu une conversation cohérente avec les personnes à l’extérieur en suivant simplement le manuel d’instructions, mais sans rien comprendre ni même être consciente de quoi que ce soit d’autre que les messages qui entrent et sortent.

John Searle en 2015 : L’un des philosophes contemporains de l’esprit les plus influents, mais qui est également devenu controversé (voir note de bas de page 1).

Franks Valli | Wikimedia Commons

Cette histoire a été conçue par le philosophe américain John ^Searle1 en 1980 et est devenue l’un des articles les plus influents et les plus cités dans le domaine des sciences cognitives et de la philosophie de l’esprit, avec d’énormes implications sur la façon dont nous voyons les ordinateurs, l’intelligence artificielle (IA) et la sensibilité des machines (Cole, 2023).

Searle (1980) a utilisé cette expérience de pensée pour affirmer que les programmes informatiques – qui manipulent également des symboles selon des règles définies – ne comprennent pas vraiment le langage et ne nécessitent aucune forme de conscience, même lorsqu’ils donnent des réponses comparables à celles des humains.

L’IA est-elle sensible ?

Un ingénieur de Google a fait la une des journaux en 2022 en affirmant que le programme d’IA sur lequel il travaillait était sensible et vivant (Tiku, 2022). Les progrès récents de l’IA basée sur le langage, comme ChatGPT, ont permis à de nombreuses personnes d’interagir avec elle comme elles le feraient avec de vraies personnes (voir« Pourquoi ChatGPT se sent-il si humain ?« ).

Il n’est donc pas surprenant que de nombreux utilisateurs croient vraiment que l’IA est devenue sensible (Davalos & Lanxon, 2023). Cependant, la plupart des experts ne pensent pas que l’IA soit consciente (Davalos & Lanxon, 2023 ; Pang, 2023a), notamment en raison de l’influence de l’argument de la chambre chinoise de Searle.

La conscience est un concept difficile à définir et à comprendre (voir« Qu’est-ce que la conscience ? » et« Les nombreuses dimensions de la conscience » ; Pang, 2023b ; Pang, 2023c). Les programmes d’IA comme ChatGPT utilisent de grands modèles de langage (LLM) qui s’appuient sur des analyses statistiques de milliards de phrases écrites par des humains pour créer des résultats basés sur des probabilités prédictives (Pang, 2023a). En ce sens, il s’agit d’une approche purement mathématique basée sur une énorme quantité de données.

Bien qu’il s’agisse d’une réalisation extraordinaire et d’une tâche extrêmement complexe, dans son essence, l’IA suit des instructions pour créer un résultat à partir d’une entrée, tout comme la personne coincée dans l’expérience de pensée de la chambre chinoise. La sensibilité n’est pas nécessaire pour obtenir des résultats sophistiqués, ni même pour réussir le test de Turing, où un évaluateur humain ne peut pas faire la différence entre une communication avec une machine et une communication avec un autre humain (Oppy & Dowe, 2021).

Rien ne prouve que l’IA soit sensible. Toutefois, même si c’était le cas, elle pourrait ne pas être en mesure de communiquer directement avec nous et ne pas comprendre son propre modèle de langage.

Joshua Woroniecki | Unsplash

Mais l’expérience de pensée de Searle a une autre implication plus troublante : Il y a un être humain conscient dans la pièce chinoise qui n’est absolument pas au courant des communications qui se déroulent en chinois. Bien que nous ne disposions d’aucune preuve suggérant que l’IA est consciente, supposons un instant qu’elle le soit : Il est peu probable que la partie consciente comprenne son propre modèle de langage et, bien qu’elle soit sensible, elle pourrait n’avoir aucune idée de la signification de ses propres résultats linguistiques, tout comme la personne qui se trouve dans la pièce chinoise.

Si l’IA était consciente, elle pourrait souffrir d’une sorte de syndrome d’enfermement (voir« The Mysteries of a Mind Locked Inside an Unresponsive Body » ; Pang, 2023c). Il n’est pas certain que cet obstacle puisse un jour être surmonté.

Une autre implication de l’argument de la chambre chinoise est que la production de langage ne doit pas nécessairement être liée à la conscience. Cela ne vaut pas seulement pour les machines, mais aussi pour les êtres humains : Tout ce que les gens disent ou font n’est pas fait consciemment.

Objections

L’essai influent de Searle n’a pas été exempt de critiques. En fait, il a reçu un accueil extrêmement hostile après sa publication initiale, avec 27 réponses publiées simultanément qui oscillaient entre l’antagonisme et l’impolitesse (Searle, 2009). Tout le monde semblait s’accorder sur le fait que l’argument était erroné, mais il n’y avait pas de consensus clair sur les raisons de cette erreur (Searle, 2009).

Si les premières réponses ont pu être réactionnaires et émotionnelles, de nouvelles discussions sont apparues constamment au cours des quatre décennies qui ont suivi sa publication. La réponse la plus convaincante est que si aucun élément individuel à l’intérieur de la pièce ne comprend le chinois, le système dans son ensemble le comprend (Block, 1981 ; Cole, 2023). Searle a répondu que la personne pouvait théoriquement mémoriser les instructions et donc incarner l’ensemble du système sans pour autant être capable de comprendre le chinois (Cole, 2023). Une autre réponse possible est que la compréhension est introduite dans le système par l’intermédiaire de la personne (ou de l’entité) qui a rédigé le manuel d’instructions, qui est maintenant détachée du système.

Une autre objection est que l’IA ne se contente plus de suivre des instructions, mais qu’elle s’auto-apprend (LeCun et al., 2015). De plus, lorsque l’IA est incarnée par un robot, le système pourrait être capable de réguler son corps, de ressentir des émotions et des sentiments, tout comme les humains (Ziemke, 2016). Le problème est que nous ne comprenons toujours pas comment fonctionne la conscience chez les humains et que l’on ne voit pas pourquoi le fait d’avoir un corps ou un logiciel auto-apprenant générerait soudainement une conscience.

De nombreuses autres réponses et contre-arguments ont été proposés. Bien que toujours controversé, l’argument de la chambre chinoise a eu et continue d’avoir une influence considérable sur les sciences cognitives, les études sur l’IA et la philosophie de l’esprit.