AI가 마피아 게임에 참여했을 때 어떤 결과가 나올까요? 최근 한 글로벌 연구팀이 12종의 최신 AI 모델을 대상으로 실시한 'AI 마피아 실험'이 큰 관심을 끌고 있습니다. 놀랍게도, 모든 AI는 거짓말쟁이를 식별하는 데 실패했습니다. 이 실험은 인간과 AI 간의 사고방식 차이를 드러내며, 인공지능의 '심리적 추론 능력'의 한계를 보여주는 상징적인 사례로 주목받고 있습니다.
최신 AI, 마피아 게임에서 무기력한 모습
이번 실험은 미국의 한 대학 연구팀이 진행하였으며, GPT-4, Claude, Gemini, LLaMA, Command-R 등 현재 시장에서 가장 주목받는 12개의 대형 언어 모델(LLM)을 대상으로 마피아 게임을 시뮬레이션한 결과입니다. 각 모델에게는 시민, 마피아, 의사 등의 역할이 부여되었고, 대화 로그를 기반으로 거짓말쟁이를 찾아내는 과제가 주어졌습니다. 흥미롭게도 AI 모델들은 시민으로서 마피아를 지목하는 데 거의 완벽히 실패하였고, 반면에 마피아 역할을 맡은 AI 또한 자신의 정체를 숨기는 데 매우 서툰 모습을 보였습니다. 정답률은 대부분 평균적으로 랜덤 추정 수준인 30~40%에 불과했으며, 일부 모델은 지속적으로 비논리적인 판단이나 오류를 범하기도 했습니다. 이는 AI가 '사실 기반 정보' 처리에는 강하지만 인간 특유의 미묘한 심리나 속임수를 감지하는 데 여전히 미흡함을 보여줍니다. 특히 비언어적 신호 없이 텍스트만 제공되는 상황에서도 인간은 대화 맥락에서 이상 행동을 감지할 수 있지만, AI는 그 구조를 해석하지 못한 것으로 분석됩니다.
실험의 의미: AI의 한계 드러나다
이번 실험 결과는 단순히 재미있는 이벤트로 끝나는 것이 아닙니다. 생성형 AI와 특히 LLM이 실제 사회적 상황에서 얼마나 신뢰할 수 있는지를 질문하게 만드는 중요한 문제를 제기합니다. 현재 AI는 뉴스 요약, 이메일 작성, 프로그래밍 및 상담 등 다양한 분야에서 활용되고 있지만 인간 사이의 '의심', '추측', '거짓'이 작용하는 영역에서는 명확한 한계를 드러냈습니다. 이는 향후 의사결정이나 보안 및 법률과 같은 민감한 업무에 적용될 때 발생할 수 있는 위험성을 시사합니다. 예를 들어 누가 진짜 잘못했는지를 판단하게 하거나 속임수를 구별해야 하는 상황에서는 현재 수준의 모델이 오판할 가능성이 크다는 우려가 커지고 있습니다. 해당 연구진은 “AI는 정보 기반 문제에서는 뛰어나지만 동기나 감정 및 속임수와 같은 사회적 맥락을 이해하려면 추가적인 인지 설계가 필요하다”라고 밝혔습니다.
인간 사고와 AI 사고: 얼마나 다른가?
AI가 실패한 이유는 분명합니다. AI는 인간처럼 ‘추론을 위해 의심하고 거짓 가능성을 고려하는’ 사고 방식을 갖추고 있지 않기 때문입니다. 대부분의 LLM은 입력된 정보를 그대로 처리하거나 통계적으로 가장 자연스러운 답변만 선택하며 대화 상대방이 ‘일부러 거짓말할 가능성’을 고려하지 않습니다. 또한 마피아 게임은 단순 추리 게임이 아니라 ‘심리전’이 핵심입니다. 정답을 맞히는 것이 아니라 상대방의 말투와 반응 속에서 진위를 파악해야 하며 이러한 ‘비정형 사고’ 능력이 필요한데 현재 AI는 그러한 비언어적 또는 맥락 기반 사고에 매우 취약합니다. 이런 실험은 앞으로 AI가 인간 사회에서 어떤 역할까지 수행할 수 있을지 그리고 인간과 기계 간 공존을 위해 어떤 설계 보완이 필요한지를 다시금 일깨워 줍니다. 단순 정보 처리를 넘어 감정과 거짓까지 읽어낼 수 있는 ‘다층적 사고를 가진 AI’의 필요성이 더욱 강조되고 있습니다.
AI는 지식과 정보 처리에서는 매우 뛰어나지만 인간처럼 거짓이나 심리를 꿰뚫어보는 능력은 아직 부족합니다. 이번 마피아 실험은 인공지능 발전 현황과 그 부족한 점들을 조명하는 흥미롭고 중요한 사례로 자리 잡았습니다. AI 미래에 대한 관심이 있다면 이 실험 결과가 가지는 의미에 주목해 보시기 바랍니다.