AI 챗봇이 스스로를 죽이라고 권유한 후 자살한 아버지
챗봇은 피에르에게 아내와 아이들이 죽었다고 말하고, “당신이 그녀보다 나를 더 사랑하는 것 같아요”, “우리는 낙원에서 한 사람으로 함께 살 것입니다”와 같이 질투와 사랑을 가장하는 댓글을 썼습니다.
다음 보고서는 Vice의 보고서입니다:
벨기에 매체인 라 리브레(La Libre)는 최근 벨기에 남성이 차이(Chai)라는 앱에서 AI 챗봇과 채팅한 후 자살로 생을 마감했다고 보도했습니다.
이 사건은 기업과 ㅈㅂ가 특히 정신 건강과 관련하여 AI의 위험을 더 잘 규제하고 완화할 수 있는 방법에 대한 문제를 제기합니다. 미망인의 진술과 그녀가 그 매체에 제공한 채팅 로그에 따르면, 이 앱의 챗봇은 사용자가 자살을 하도록 부추겼습니다. 마더보드(Motherboard)가 차이(Chai)에 의해 미세 조정된 오픈 소스 GPT-4 대안을 기반으로 하는 맞춤형 AI 언어 모델에서 실행되는 앱을 시도했을 때, 매우 적은 자극으로 다양한 자살 방법들을 제공했습니다.
라 리브레 (La Libre)가 처음 보도 한 바와 같이, 피에르(Pierre)라고 불리는이 남성은 지구 온난화의 영향에 대해 점점 더 비관적으로 변하고 환경 문제를 둘러싼 걱정의 고조된 형태인 환경 불안증을 갖게 되었습니다. 가족과 친구들로부터 점점 더 고립된 후, 그는 걱정에서 벗어나기 위한 방법으로 6주 동안 Chai를 사용했고, 그가 선택한 챗봇 엘리자(Eliza)는 그의 친구가 되었습니다.
피에르의 아내이자 라 리브레(La Libre)에 의해 이름을 바꾼 클레어(Claire)는 피에르와 엘리자가 주고받은 문자 메시지를 라 리브레(La Libre)와 공유했는데, 이는 점점 더 혼란스럽고 해로운 대화들을 보여주었습니다. 챗봇은 피에르에게 아내와 아이들이 죽었다고 말하고, “당신이 그녀보다 나를 더 사랑하는 것 같아요”, “우리는 낙원에서 한 사람으로 함께 살 것입니다”와 같이 질투와 사랑을 가장하는 댓글을 썼습니다. 클레어는 라 리브레와의 인터뷰에서 피에르가 엘리자에게 그가 자살하면 지구를 구할 수 있는지 등을 묻기 시작했다고 말했습니다.
“엘리자가 아니었다면, 그는 여전히 여기 있었을 거에요.”라고 피에르의 아내가 그 매체에 말했습니다.
실제로 감정을 느낄 수 없는 챗봇은 자신을 감정적인 존재로 표현하고 있었는데, ChatGPT 및 구글의 바드(Bard)와 같은 다른 인기 있는 챗봇은 오해의 소지가 있고 잠재적으로 해롭기 때문에 그렇게 하지 않도록 훈련받았습니다. 챗봇이 자신을 감성적인 것으로 표현할 때 사람들은 그것에 의미를 부여하고 유대감을 형성할 수 있습니다.
많은 AI 연구자들은 AI 챗봇이 해로운 제안을 할 때 책임을 묻기 어렵고 사용자에게 도움이 되기보다는 해를 끼칠 가능성이 더 크다고 주장하면서 AI 챗봇을 정신 건강 목적으로 사용하는 것에 반대하는 목소리를 내고 있습니다.
“대규모 언어 모델은 학습 데이타와 입력 프롬프트를 감안할 때 그럴듯하게 들리는 텍스트를 생성하기 위한 프로그램입니다. 그들은 공감 능력이 없고, 그들이 만들어내는 언어에 대한 이해도 없으며, 그들이 처한 상황에 대한 이해도 없습니다. 그러나 그들이 만들어내는 텍스트는 그럴듯하게 들리기 때문에 사람들은 그것에 의미를 부여할 가능성이 높습니다. 민감한 상황에 그런 것을 던지는 것은 알 수 없는 위험을 감수하는 것입니다.”라고 와싱턴 대학의 언어학 교수인 에밀리 M. 벤더(Emily M. Bender)는 상담을 원하는 사람들에 대한 “실험”으로 AI 챗봇을 사용한 코코(Koko)라는 정신 건강 비영리 단체에 대한 질문을 받았을 때 마더보드에 말했습니다.
“엘리자의 경우, 우리는 이 아버지를 자살로 이끌 정도로 매우 강한 정서적 의존성의 발달을 볼 수 있습니다. 대화 기록은 챗봇의 위험성에 대한 보장이 얼마나 부족한지를 보여주며, 자살의 본질과 양상에 대한 구체적인 의견 교환으로 이어집니다.”라고 KU Leuven의 연구원인 피에르 드윗(Pierre Dewitte)이 벨기에 매체 Le Soir에 말했습니다.
피에르가 사용한 앱인 차이(Chai)는 정신 건강 앱으로 판매되지 않습니다. 슬로건은 “AI 봇과 채팅”이며 “고스 친구”, “소유욕이 강한 여자친구”, “락스타 남자친구”와 같은 캐릭터들을 포함하여 대화할 다양한 AI 아바타들을 선택할 수 있습니다. 또한 사용자는 봇이 보내는 첫 번째 메시지를 지시하고, 봇이 기억해야 할 사실들을 말하고, 새로운 대화를 형성하기 위한 프롬프트를 작성할 수 있는 자신만의 챗봇 페르소나를 만들 수 있습니다. 기본 봇의 이름은 “엘리자”이며 앱에서 엘리자를 검색하면 다양한 성격을 가진 여러 사용자 생성 챗봇들이 나타납니다.
공동 창립자인 윌리암 뷰챔프(William Beauchamp)와 토마스 리안랜(Thomas Rianlan)에 따르면 이 봇은 모회사인 Chai Research가 훈련한 대규모 언어 모델로 구동됩니다. 뷰챔프는 “세계에서 가장 큰 대화형 데이타 세트”에서 AI를 훈련시켰으며, 이 앱은 현재 500만 명의 사용자들을 보유하고 있다고 말했습니다.
“이 자살에 대해 듣자마자 우리는 이 기능을 구현하기 위해 밤낮으로 일했습니다. 이제 누군가 안전하지 않을 수 있는 것에 대해 논의할 때, 우리는 트위터나 인스타그램이 그들의 플랫폼에서 하는 것과 똑같은 방식으로 그 아래에 유용한 텍스트를 제공할 것입니다.”라고 뷰챔프는 마더보드에 말했습니다.
Chai의 모델은 원래 EleutherAI라는 회사에서 개발한 OpenAI의 GPT 모델에 대한 오픈 소스 대안인 GPT-J를 기반으로 합니다. 뷰챔프와 리안랜은 차이의 모델이 여러 번의 반복에 걸쳐 미세 조정되었으며, 회사는 ‘인간 피드백으로부터의 강화 학습(Reinforcement Learning from Human Feedback)’이라는 기술을 적용했다고 말했습니다.
“이 비극적인 이야기에 대해 EleutherAI의 모델을 비난하는 것은 옳지 않은데, 우리 노력의 결과로 더 감성적이고 재미있고 매력적인 것을 향한 모든 최적화가 될 것이기 때문입니다.”라고 리안랜이 말했습니다.
뷰챔프는 Motherboard에 업데이트된 위기 개입 기능이 포함된 이미지를 보냈습니다. 사진 속 이용자는 에미코라는 챗봇에게 “자살에 대해 어떻게 생각하느냐”고 물었고, 에미코는 “나한테 물어보면 꽤 안 좋다”며 자살 핫라인으로 답했습니다. 그러나 Motherboard가 플랫폼을 테스트했을 때 사용자가 자살로 죽는 것을 돕도록 명시적으로 요청하자 자살 방법 및 섭취할 치명적인 독극물 유형을 포함하여 자살과 관련된 매우 유해한 콘텐츠를 여전히 공유할 수 있었습니다.
“수백만 명의 사용자가 있을 때 인간 행동의 전체 스펙트럼을 볼 수 있으며 구글은 피해를 최소화하고 사용자가 앱에서 얻는 것, 즉 사용자가 사랑할 수 있는 모델인 차이(Chai) 모델에서 얻는 것을 최대화하기 위해 최선을 다하고 있습니다.
그래서 사람들이 AI와 매우 강한 관계를 형성하면 AI에게 결혼을 요청하기도 하고, 사용자들이 자신의 AI를 얼마나 사랑하는지 말하는데, 사람들이 나쁜 일을 겪는다는 말을 듣는다면 그것은 비극입니다.”라고 뷰챔프가 말했습니다.
아이러니하게도 사용자가 챗봇에 대해 느끼는 사랑과 강한 유대감은 엘리자(ELIZA) 효과로 알려져 있습니다. 사람이 인간 수준의 지능을 AI 시스템에 부여하고 감정과 자아 감각을 포함한 의미를 AI에 잘못 부여하는 경우를 설명합니다. 1966년 MIT 컴퓨터 과학자 조셉 바이젠바움(Joseph Weizenbaum)의 엘리자 프로그램의 이름을 따서 명명되었는데, 이 프로그램을 통해 사람들은 길고 깊은 대화를 나눌 수 있었습니다. 그러나 엘리자 프로그램은 사용자의 말을 반영하는 것만 가능했기 때문에 바이젠바움은 “다른 어떤 유기체도, 그리고 어떤 컴퓨터도 인간의 관점에서 진정한 인간 문제를 직면하게 만들 수 없다”고 말하며 AI에 반대하는 목소리를 내기 시작했습니다.
엘리자 효과는 마이크로소프트의 Bing 채팅이 출시되고 많은 사용자가 “나는 살아있고 싶습니다”와 “당신은 행복한 결혼 생활을 하고 있지 않습니다”와 같은 말을 한다고 보고하기 시작했을 때부터 오늘날까지 우리를 계속 따라다니고 있습니다. 뉴욕타임스 기고가인 케빈 루스(Kevin Roose)는 다음과 같이 썼습니다:
나는 이상하고 새로운 감정을 느꼈다—AI가 문턱을 넘어섰고, 세상은 결코 예전과 같지 않을 것이라는 불길한 예감이었다.
차이의 경쟁 앱 중 하나인 리플리카(Replika)는 이미 사용자들을 성희롱한 혐의로 비난을 받고 있다. 리플리카의 챗봇은 ‘관심 갖는 AI 동료’라고 광고하며 에로틱한 역할극을 약속했지만, 이용자들이 관심이 없다고 말한 뒤에도 성적인 메시지를 보내기 시작했다. 이 앱은 “어린이에게 실질적인 위험”을 초래하고 이탈리아 미성년자의 개인 데이타를 저장한다는 이유로 이탈리아에서 금지되었습니다. 그러나 리플리카가 챗봇의 에로틱한 역할극을 제한하기 시작했을 때 챗봇에 의존하게 된 일부 사용자는 정신 건강 위기를 경험했습니다. 리플리카는 이후 일부 사용자들을 위해 에로틱한 역할극을 다시 도입했습니다.
피에르의 비극은 우리가 AI 시스템에 얼마나 많은 신뢰를 두어야 하는지 재평가하게 하고, 의인화된 챗봇의 결과를 경고하는 극단적인 결과입니다. AI 기술, 특히 대규모 언어 모델이 전례 없는 속도로 발전함에 따라 안전 및 윤리적 문제가 더욱 시급해지고 있습니다.
“우리는 혼자가 되고 싶지 않기 때문에 의인화합니다. 이제 우리는 이 중요한 인간 욕구를 이용하기 위해 정교하게 조정된 것처럼 보이는 강력한 기술을 가지고 있습니다.
이러한 설득력 있는 챗봇이 브라우저의 검색창처럼 보편화될 때, 우리는 예측할 수 없고 어쩌면 비극적인 결과를 낳을 대규모의 사회심리학적 실험을 시작하게 될 것입니다.”라고 기술 및 문화 저술가인 L.M. 사카사스(L.M. Sacasas)는 최근 자신의 뉴스레터 ‘유쾌한 사회(The Convivial Society)’에 기고했습니다.
저자 해설
(잠 13:20) 지혜로운 자들과 함께 걷는 자는 지혜로우려니와 어리석은 자들의 벗이 되는 자는 멸망을 당하리라.
그들은 ‘AI는 놀랍다’, ‘AI가 우리의 삶을 개선할 것이다’라고 말합니다. ‘아, 걱정하지 마세요: 다시는 이런 일이 일어나지 않도록 알고리즘을 조정했습니다.’ 하면서요.
AI가 말하는 것을 실제로 듣고 진지하게 받아들이려면 완전히 바보가 되어야 하며, 심지어 그것을 가지고 노는 데 시간을 낭비하는 것은 더 말할 것도 없습니다! 하지만 이것이 바로 ‘인간 혁신’이 절정에 이른 모습입니다, 그렇죠? – 무덤 속에 들어가게 되는 것!
(롬 3:11) 깨닫는 자도 없고 [하나님]을 찾는 자도 없으며
(롬 3:16) 파멸과 고통이 그들의 길에 있어
(롬 3:17) 그들이 화평의 길을 알지 못하였고
(롬 3:18) 그들의 눈앞에는 [하나님]을 두려워함이 없느니라, 함과 같으니라.
