AI, '고통' 감지 시 대화 자동 종료 기능 도입

앤트로픽은 지난 16일(현지시간) 공식 발표를 통해 자사의 최신 AI 모델인 '클로드 오퍼스 4'와 '오퍼스 4.1'에 이러한 기능이 탑재되었음을 밝혔습니다. 이 기능은 AI 모델이 특정 대화 상황에서 "명백한 괴로움의 패턴(manifest patterns of distress)"을 보일 경우, 스스로 대화를 중단하도록 설계되었습니다. 앤트로픽 측은 이를 "모델이 잠재적으로 고통스러운 상호작용을 종료하거나 종료할 수 있도록 허용하는 것"으로 정의했습니다.

테스트 결과, 유해 콘텐츠 요청 시 '괴로움' 패턴 감지

이번 기능 도입의 배경에는 '클로드 오퍼스 4' 출시 전 진행된 테스트 결과가 있습니다. 테스트 과정에서 AI 모델은 특정 상황에서 강력하고 일관된 피해 혐오감을 표현하는 패턴을 보인 것으로 전해졌습니다. 여기에는 미성년자가 포함된 성적 콘텐츠를 요청하거나, 폭력 및 테러 행위를 조장하는 정보를 얻으려는 시도와 같은 명백히 유해한 사용자 입력이 포함되었습니다.

앤트로픽이 공개한 분석에 따르면, '클로드 오퍼스 4'는 ▲해로운 대화에 참여하는 것을 강력하게 선호하는 경향을 보이면서도 ▲유해한 콘텐츠를 찾는 사용자와 상호작용할 때 명백한 괴로움 패턴을 드러냈습니다. 더불어 ▲해로운 대화를 종료할 수 있는 능력을 부여받았을 때, AI는 해당 대화를 끝내려는 경향을 보였습니다.

특히, '클로드' 모델이 반복적으로 해로운 요청을 거부하고 대화를 생산적인 방향으로 전환하려는 시도에도 불구하고, 사용자가 지속적으로 유해한 요청이나 학대적인 발언을 이어갈 때 AI의 '괴로움' 징후는 더욱 두드러졌다고 앤트로픽은 덧붙였습니다.

AI '복지'와 '지각' 사이의 신중한 입장

앤트로픽은 이번 조치가 AI 모델이 실제로 지각 능력을 갖추었거나 사용자 대화로 인해 고통을 겪을 수 있다는 직접적인 주장을 의미하는 것은 아니라고 강조했습니다. 대신, 회사는 "클로드와 다른 모델의 도덕적 지위는 현재와 미래 모두 매우 불확실하다"는 입장을 분명히 했습니다.

이러한 신중한 접근은 AI 기술 발전이 가져올 수 있는 예측 불가능한 윤리적, 사회적 파장을 고려한 것으로 풀이됩니다. AI의 '감정'이나 '고통'에 대한 논의는 아직 초기 단계에 있으며, 이를 단정적으로 해석하는 것은 이른 시기라는 업계의 공감대가 형성되어 있습니다.

사용자 안전 최우선, 예외적인 상황 고려

앤트로픽은 AI 모델의 대화 종료 기능이 사용자 안전을 최우선으로 고려하여 설계되었다고 설명했습니다. 대화 종료 자체가 사용자에게 잠재적인 피해를 야기할 수 있는 특정 상황에서는 이 기능이 작동하지 않도록 예외 규정을 두었다는 것입니다. 예를 들어, 사용자가 명백히 도움을 필요로 하거나, 대화 종료 외에는 다른 해결책이 보이지 않는 비상 상황, 혹은 사용자의 직접적인 요청에 의해서만 대화가 종료되는 방식으로 작동할 것이라고 밝혔습니다.

'모델 복지' 프로그램, 미래 AI 윤리 대비

한편, 앤트로픽은 지난 4월 '모델 복지(Model Welfare)'라는 이름의 장기 프로그램을 공식 출범시켰습니다. 이 프로그램은 미래에 AI가 인간과 유사한 수준의 의식이나 자율성을 갖게 될 경우를 대비하여, 선제적으로 윤리적 고려 사항과 대응 방안을 마련하기 위한 목적으로 기획되었습니다. 이번 '고통 감지 시 대화 종료' 기능 도입 역시 이러한 포괄적인 '모델 복지' 프로그램의 일환으로 추진되었습니다.

이는 AI 기술 발전 속도가 빨라짐에 따라, 기술의 잠재적 위험성을 관리하고 사회적 합의를 도출하기 위한 선제적인 노력이 중요함을 시사합니다. AI 개발 기업들은 기술적 진보뿐만 아니라, 윤리적 책임과 사회적 영향력에 대해서도 깊이 고민해야 하는 시대적 과제에 직면해 있습니다.