Niciunul dintre chatbot-uri nu a obţinut un scor perfect la testul MoCA, care evaluează memoria, atenţia, limbajul şi abilităţile vizuale.
ChatGPT în cea mai recentă versiune (4o) a obţinut cel mai bun rezultat - 26 puncte din 30, în timp ce Gemini de la Google a avut doar 16 puncte, un scor asociat cu deteriorarea cognitivă la pacienţii umani.
Toate chatbot-urile au eşuat la sarcinile care necesită abilităţi vizuale şi executive, precum desenarea unui ceas sau conectarea unor puncte într-o anumită ordine.
Mai mult, versiunile mai vechi ale acestor programe au obţinut scoruri mai slabe, similar cu modul în care pacienţii mai în vârstă tind să aibă rezultate mai proaste la aceste teste.
Studiul pune sub semnul întrebării predicţiile entuziaste despre înlocuirea medicilor cu inteligenţa artificială. De fapt, cercetătorii sugerează că în viitor, neurologii s-ar putea trezi tratând „pacienţi virtuali" - programe de inteligenţă artificială care suferă ele însele de tulburări cognitive.
Deşi chatbot-urile s-au descurcat bine la sarcinile care implică limbaj şi atenţie, eşecul lor în interpretarea scenelor vizuale complexe şi lipsa empatiei arată limitele fundamentale ale acestei tehnologii în contextul medical.