AI 윤리 기사에 반복되는 오해 — 원문을 열어보면 다르게 적혀 있다

어떤 칼럼을 읽다가 세 문장에서 멈췄다. 앤스로픽의 클로드는 칸트의 의무론을 채택했고, 구글 제미나이와 오픈AI 챗GPT는 밀의 공리주의를 자율주행차 소프트웨어에 적용해 사고가 불가피할 때 피해가 가장 적은 충돌을 고르도록 설계했으며, 할루시네이션(모델이 그럴듯한 거짓 정보를 지어내는 현상)을 줄이는 데 소크라테스 문답법이 활용된다는 내용이었다.

깔끔했다. 회사마다 철학 사조가 하나씩 배정돼 있고, 고전 철학이 최신 기술 문제를 푸는 구도. 읽는 사람 입장에서 이만큼 정리되는 설명도 드물다. 그래서 원문을 열어봤다. 세 주장 모두 공개된 1차 문서가 존재하고, 클릭 몇 번이면 닿는 거리에 있었다.

결과는 셋 중 둘이 사실과 달랐고, 나머지 하나는 방향은 맞지만 단정이 과했다.

한 줄 요약: AI 윤리를 회사별 철학 사조로 깔끔하게 배정하려는 욕심이 오보를 만든다. 실무자에게 필요한 건 사조 암기가 아니라 원문 대조 습관이다.

클로드 헌법에는 칸트가 없다

앤스로픽은 클로드의 행동 원칙을 담은 문서를 공개하고 있다. 초기 헌법의 원칙 출처를 밝힌 대목을 보면 UN 세계인권선언, 애플 이용약관, 딥마인드 스패로우 원칙, 비서방 관점을 반영하기 위해 따로 작성한 원칙군, 그리고 사내 시행착오로 다듬은 원칙이 나란히 올라와 있다. 1948년 문서로는 커버되지 않는 데이터 프라이버시·온라인 사칭 문제를 채우려고 이용약관까지 끌어다 쓴 것이다.

이건 특정 사조를 고른 설계가 아니다. 오히려 반대에 가깝다. 앤스로픽은 장기 목표가 “시스템이 특정 이데올로기를 대표하게 만드는 것이 아니라 주어진 원칙 집합을 따를 수 있게 하는 것”이라고 못 박아 뒀다.

2026년 1월 공개된 최신 헌법은 한 발 더 나간다. 클로드의 윤리 이론화보다 구체적 맥락에서 실제로 윤리적으로 행동하는 것, 즉 윤리적 실천에 관심이 있다고 명시한다. 도덕 이론에 별 관심도 조예도 없는 사람들이 현실의 윤리적 상황을 지혜롭고 능숙하게 다루는 경우가 많다는 문장까지 붙어 있다. 문서가 지향하는 상태는 “좋고, 지혜롭고, 유덕한 행위자”다.

굳이 사조에 대응시킨다면 외부 분석들이 평가하듯 덕윤리 쪽이지 의무론이 아니다. 그런데 애초에 문서가 사조 배정을 거부하고 있으니, 대응시키려는 시도 자체가 원문을 거스른다. 솔직히 이 지점이 제일 아이러니했다. 이론 채택을 피한다고 명시한 문서를, 이론 채택의 사례로 인용한 셈이다.

존재하지 않는 제품에 적용된 공리주의

두 번째 주장은 두 겹으로 틀렸다.

바깥쪽 겹은 제품의 존재 여부다. 구글도 오픈AI도 자율주행 소프트웨어 제품을 팔지 않는다. 제미나이와 챗GPT는 범용 언어모델이고, 차량 제어 스택이 아니다. 웨이모가 떠오르지만 그건 다른 회사 이야기다.

안쪽 겹은 설계 철학이다. 트롤리 딜레마 식 피해 최소화 최적화를 자율주행에 넣었다는 서술 자체가 업계 실상과 다르다. 완성차와 자율주행 업계가 공식적으로 표방하는 건 “누구를 칠지 고르는 알고리즘”이 아니라 “그 상황에 도달하지 않는 사고 회피 설계”다.

학계 쪽 정리도 오래됐다. 2018년 브루킹스 보고서는 트롤리 문제에 대한 집착이 자율주행차가 실제로 어떻게 작동하는지에 대한 이해를 오히려 가린다고 지적했다. 자율주행차가 쓸 법한 수학적 모델은 부분관측 마르코프 결정과정(POMDP) 계열인데, 이 구조는 트롤리 문제가 전제하는 조건 자체와 맞지 않는다는 것이다. 선택지가 둘로 고정되고, 결과가 확정적으로 알려져 있고, 행위자가 그 사실을 안다는 전제 — 실제 주행 환경에서 어느 하나 성립하지 않는다.

2025년 11월 스트리츠블로그 USA 기사도 결이 비슷하다. 누구의 죽음이 수용 가능한가를 따지는 프레임 자체를 문제 삼으면서, 아무도 죽지 않는 설계를 목표로 삼아야 한다고 주장한다. 트롤리 프레이밍은 철학 강의실에서는 훌륭한 도구지만 엔지니어링 명세서로는 부적합하다는 게 요지다.

방향은 맞지만 단정이 과한 것

세 번째 주장은 사정이 다르다. 소크라테스식 질문을 프롬프트에 넣어 모델의 추론을 개선하려는 연구는 실재하고, 효과 보고도 있다.

2023년 프린스턴 NLP 그룹이 공개한 소크라틱AI는 세 개의 언어모델 에이전트에게 소크라테스·테아이테토스·플라톤 역할을 맡겨 대화로 문제를 풀게 한다. 고정 프롬프트 대신 에이전트들이 서로에게 질문을 던지고 서로의 추론을 비판하며 오류를 잡는 구조다.

2024년 ACL Findings에 실린 체인 오브 베리피케이션(CoVe)은 더 실무적이다. 모델이 초안을 쓰고, 그 초안을 검증할 질문을 스스로 설계하고, 다른 답에 오염되지 않게 각 질문에 독립적으로 답한 뒤, 검증된 최종 답을 낸다. 논문은 위키데이터 기반 목록형 질의, 클로즈드북 MultiSpanQA, 장문 생성 전반에서 할루시네이션이 줄었다고 보고한다. 자기 답을 캐묻는다는 점에서 문답법의 골격은 분명히 있다.

다만 “활용된다”는 표현은 과하다. 현장에서 할루시네이션을 잡는 주류 수단은 RAG(외부 문서를 검색해 근거로 붙이는 방식), 근거 인용 강제, 검증 루프 쪽이다. 문답법 계열은 그중 검증 루프의 한 갈래이고 연구 단계 비중이 크다. 방향이 맞다는 것과 업계 표준이라는 것은 다른 이야기인데, 한 문장으로 압축하는 과정에서 그 차이가 지워졌다.

왜 이런 오해가 반복되는가

세 오류의 성격이 다 다르다. 하나는 문서가 명시적으로 거부한 걸 채택했다고 썼고, 하나는 존재하지 않는 제품에 존재하지 않는 설계 철학을 붙였고, 하나는 연구 단계를 업계 관행으로 승격시켰다. 공통점은 방향이다. 전부 “더 깔끔한 쪽”으로 틀렸다.

회사마다 철학 사조가 하나씩 배정되면 설명이 아름다워진다. 표로 그릴 수 있고, 강연 슬라이드 한 장에 들어가고, 독자가 기억한다. 실제 문서는 그렇게 안 생겼다. 인권선언과 이용약관이 한 목록에 섞여 있고, “이론화보다 실천”이라는 유보가 붙어 있고, 도덕적 불확실성과 불일치를 다루는 능력을 목표로 적어 둔다. 지저분하다. 그런데 그게 원문이다.

개인적으로는 이게 AI 윤리 담론만의 문제가 아니라고 본다. 노무 영역에서도 판례 하나가 “법원이 이제 A라고 본다”로 압축되면서, 정작 판결문에 붙어 있던 사실관계 전제가 통째로 날아가는 일이 흔하다. 압축은 항상 유보 조항부터 먹는다.

벤더가 “우리 AI는 윤리적입니다”라고 말할 때

HR 실무로 옮기면 이야기가 구체적으로 바뀐다. 채용 스크리닝, 성과 분석, 근태 이상탐지, 상담 챗봇 — AI 도구를 도입할 때 벤더 자료에는 거의 예외 없이 윤리·공정성 문구가 들어 있다. 문제는 그 문구가 검증 가능한 형태인지다.

공개 문서 원문을 직접 연다

제안서나 영업 자료가 아니라 벤더가 공개한 1차 문서를 요구한다. 모델 카드, 정책 문서, 기술 백서 같은 것들이다. 그리고 요약본이 아니라 원문을 읽는다. 이번 사례에서 확인했듯 요약 단계에서 사라지는 건 대개 유보 조항이고, 실무 리스크는 정확히 그 유보 조항에 들어 있다. 공개 문서가 아예 없다면 그 자체가 답이다.

무엇을 하지 않는지 확인한다

“공정한 평가를 지원합니다” 같은 문장은 검증 대상이 아니다. 검증 가능한 건 부정형 진술이다. 어떤 데이터를 학습에 쓰지 않는지, 어떤 판단을 자동으로 내리지 않는지, 어떤 상황에서 답변을 거부하도록 설계했는지. 좋은 문서일수록 하지 않는 것의 목록이 길다. 클로드 헌법이 특정 이론 채택을 피한다고 명시한 것도 같은 종류의 진술이다. 자기 한계를 적어 둔 문서가 자기 능력만 적어 둔 문서보다 신뢰할 만하다는 게 이 일의 핵심이다.

책임 소재를 문서로 남긴다

모델이 잘못된 판단을 냈을 때 누가 책임지는가. 계약서에 남는 답과 영업 담당자가 구두로 주는 답은 대개 다르다. 채용 탈락, 징계 근거, 성과 등급처럼 근로자 권리에 직접 닿는 영역이라면 최종 판단 주체가 사람이라는 점, 그 사람이 누구인지, 이의제기 경로가 무엇인지가 문서에 있어야 한다. 이건 좀 번거롭더라도 도입 전에 끝내야 하는 절차다. 사고가 난 뒤에는 협상력이 사라진다.

flowchart TD
    A[벤더의 윤리 주장] -->|공개 1차 문서 있나?| B{문서 확인}
    B -->|없음| X[검증 불가로 기록]
    B -->|있음| C{하지 않는 것이 적혀 있나?}
    C -->|없음| X
    C -->|있음| D{책임 소재가 계약서에 있나?}
    D -->|없음| E[계약 조건으로 요구]
    D -->|있음| F[도입 검토 진행]

사조를 외우는 대신 링크를 여는 일

이번 대조에 쓴 도구는 특별하지 않았다. 검색 몇 번, 원문 페이지 열기, 해당 문단 찾아 읽기. 오히려 AI 도구를 쓸수록 이 작업이 쉬워졌는데, 요약을 받은 다음 그 요약의 근거 링크를 하나씩 눌러보는 습관만 있으면 된다. 요약을 만들어 주는 도구와 요약을 검증하는 도구가 같은 도구라는 게 지금 시점의 이점이다.

아쉬운 건 그 마지막 클릭이 대체로 생략된다는 점이다. 요약이 그럴듯할수록 더 그렇다. 이번 칼럼의 세 문장도 그럴듯했기 때문에 널리 인용됐을 것이다.

그래서 질문 하나를 남겨 두고 싶다. 지난달 회의에서 인용한 AI 관련 주장 중, 원문을 직접 열어본 건 몇 개였나. 나는 세어보고 조금 민망했다.

💡 실무 시사점: AI 벤더의 윤리 주장은 요약본이 아니라 공개 1차 문서로 검증한다. 무엇을 한다는 진술보다 무엇을 하지 않는다는 진술이 검증 가능하고, 책임 소재는 도입 전에 계약서로 남긴다. 철학 사조 암기는 실무에 아무 도움이 되지 않는다.

#AI윤리 #벤더검증 #할루시네이션 #AI거버넌스 #HR테크 #팩트체크

참고 링크

• Anthropic, “Claude’s Constitution” — 현행 헌법 전문 (2026)
• Anthropic, “Claude’s new constitution” — 개정 공지 (2026)
• Anthropic, “Claude’s Constitution” — 초기 헌법 및 원칙 출처 공개 (2023)
• Brookings, “The folly of trolleys: Ethical challenges and autonomous vehicles” (2018)
• Streetsblog USA, “The False ‘Trolley Problem’ At the Heart of the Autonomous Vehicle Debate” (2025)
• Princeton NLP Group, “The Socratic Method for Self-Discovery in Large Language Models” (2023)
• ACL Findings, “Chain-of-Verification Reduces Hallucination in Large Language Models” (2024)

작성: 서재홍 | NODE