AI 채용 도구, 공정성 감사 없이 도입하면 생기는 일

AI 채용 도구를 쓰는 기업이 빠르게 늘고 있다. 이력서 스크리닝, 면접 일정 자동화, 후보자 매칭까지 — 채용 프로세스 곳곳에 알고리즘이 들어갔다. 그런데 솔직히, 그 알고리즘이 어떤 기준으로 사람을 걸러내는지 설명할 수 있는 HR 담당자가 얼마나 될까.

최근 바르셀로나 공공고용기관을 대상으로 한 대규모 공정성 감사(Fairness Audit) 연구가 발표됐다. 49만 7천 건의 채용 파이프라인 데이터를 전수 분석한 결과, 겉으로는 성별 차이가 없어 보이던 시스템 안에서 연령·성별·임금대를 교차 분석하자 심각한 편향이 드러났다. 이건 단순한 기술 결함이 아니다. AI 채용 도구를 도입하면서 ‘공정성 감사’를 함께 설계하지 않으면, 표면적 중립 뒤에 숨은 차별이 결국 법적 리스크로 돌아온다는 경고다.

한 줄 요약: AI 채용 도구의 ‘평균적 공정’은 허상이다 — 교차 분석 기반의 알고리즘 공정성 감사 없이 도입하면, 보이지 않는 차별이 법적 리스크로 전환된다.

49만 건이 말해주는 것 — 평균은 괜찮아 보였다

2026년 8월 arXiv에 발표된 연구는 스페인 바르셀로나 공공고용기관 ‘바르셀로나 악티바(Barcelona Activa)’가 운영하는 AI 기반 채용 매칭 시스템을 감사한 것이다. 분석 대상은 2017년 9월부터 2022년 9월까지 약 49만 7천 건의 후보자-공석 파이프라인 데이터였다.

연구진이 전체 데이터를 남녀 이분법으로만 봤을 때, 서류 통과율의 성별 차이는 통계적으로 유의미하지 않았다. 여기서 멈췄다면 “AI가 공정하게 작동하고 있다”는 결론이 나왔을 것이다.

하지만 연구진은 임금 수준·연령대·성별 정체성을 교차해 데이터를 쪼갰다. 그러자 완전히 다른 그림이 나타났다.

개인적으로는 55세 이상이 파이프라인에 아예 등장하지 않는다는 사실이 가장 충격적이다. 바르셀로나 노동인구의 15.6%를 차지하는 연령대가 AI 시스템 안에서는 존재 자체가 지워진 셈이다. 이건 편향이 아니라 배제다.

더 주목할 점은 시간에 따른 변화다. 성별 서류통과율 격차는 2017년 6.5%포인트에서 2022년 1.3%포인트로 줄었다. 하지만 이 ‘개선’은 의도적 보정의 결과가 아니었다. 연구진은 알고리즘 자체에 대한 접근 권한이 없었기 때문에 원인을 특정할 수 없었다고 밝혔다.

벤더가 알고리즘을 공개하지 않을 때

이 연구가 던지는 가장 불편한 질문은 이것이다. 바르셀로나 악티바는 제3자 플랫폼 ‘탈렌트클루(TalentClue)’의 AI 매칭 시스템을 사용하고 있었는데, 정작 그 알고리즘의 작동 원리에 접근할 수 없었다.

공공기관이 시민의 취업 기회에 영향을 미치는 알고리즘을 운영하면서, 그 알고리즘을 감사할 권한조차 갖지 못한 것이다. 연구진은 이를 “벤더-운영자 간 정보 비대칭(vendor-deployer information asymmetry)”이라 명명했다.

이건 해외만의 문제가 아니다. 국내 기업이 AI 채용 솔루션을 도입할 때도 상황은 비슷하다. SaaS 형태로 제공되는 채용 AI의 내부 로직을 HR 부서가 직접 검증할 수 있는 경우는 거의 없다. 아쉽다고만 하고 넘어갈 문제가 아니다. 채용 과정에서 차별이 발생하면, 그 법적 책임은 벤더가 아니라 채용을 실행한 사용자 기업에 돌아간다.

공정성 감사, 실무에서 어떻게 시작할까

워크데이(Workday)가 미래프라이버시포럼(Future of Privacy Forum)과 공동 발표한 AI 거버넌스 프레임워크는 실무 적용 관점에서 참고할 만하다. 이 프레임워크는 NIST AI 위험관리 프레임워크와 ISO/IEC 42001을 기반으로, 직장 내 AI의 전체 생애주기에 걸친 거버넌스를 제안한다.

이 프레임워크의 핵심이다 — 기술만 보지 말고, 그 기술이 실제 직장에서 어떻게 쓰이는지를 함께 보라는 ‘사회기술적(sociotechnical)’ 접근이다. 워크데이의 최고 책임 AI 임원(Chief Responsible AI Officer) Kelly Trindel은 “기술 엔진만 보는 게 아니라, 실제 사람들이 실제 일터에서 그걸 어떻게 쓰는지까지 봐야 한다”고 강조한다.

실무 관점에서 의미 있는 요소를 추리면 다음과 같다.

먼저, 편향 테스트는 개발사와 도입 기업 양쪽의 책임이다. AI 솔루션을 구매한 기업도 자체적으로 편향 테스트를 실행해야 한다. 바르셀로나 사례에서 봤듯이, 벤더에게 맡겨두는 것만으로는 불충분하다.

다음으로, 의미 있는 고지(meaningful notice)가 필요하다. 채용 대상자에게 AI가 평가에 관여한다는 사실을 사전에 알려야 한다. 워크데이는 ‘AI 팩트시트(AI Fact Sheet)’라는 형태로 모델 입력값과 설계 한계를 문서화해 제공한다.

마지막으로, 위험 수준에 따른 인간 개입 수준을 사전에 정해둬야 한다. 모든 AI 출력에 사람이 개입할 수는 없지만, 채용·승진·해고처럼 개인의 경력에 중대한 영향을 미치는 결정에는 반드시 인간의 최종 확인을 거치도록 설계해야 한다.

알고리즘에 윤리를 위임할 수 없는 이유

하버드 경영대학원(HBS)의 Joseph Badaracco 교수는 자율주행차의 윤리적 딜레마를 통해 더 근본적인 질문을 던진다. 테슬라 오토파일럿의 사고율은 백만 마일당 0.18건으로, 미국 평균(1.53건)보다 약 8.5배 낮다. 통계적으로 더 안전하다. 하지만 17명이 사망했다.

“당신의 시스템이 살린 사람들은 자기 목숨이 구해졌다는 걸 모른다. 하지만 간혹 죽거나 다친 사람들은 분명히 안다.” Badaracco 교수의 이 말은 AI 채용 도구에도 정확히 적용된다. AI가 채용 효율을 높여 합격한 후보자는 AI 덕분이라고 생각하지 않는다. 하지만 AI에 의해 걸러진 사람은 그 사실을 알게 될 때, 그것이 차별이었다면 가만히 있지 않을 것이다.

Badaracco 교수가 제시하는 원칙 중 실무에 가장 직접적으로 닿는 것은 ‘나인의 행진(march of the nines)’이라는 개념이다. 인간의 사고 회피율이 99.999819%라면, AI는 그보다 훨씬 높은 정확도를 달성해야 비로소 “인간보다 낫다”고 말할 수 있다. 채용 AI도 마찬가지다. “기존 서류 심사보다 빠르다”는 것만으로는 도입 근거가 되지 못한다. 기존 심사보다 공정한지를 먼저 증명해야 한다.

그래서 지금 무엇을 할 수 있는가

AI 채용 도구를 이미 쓰고 있거나 도입을 검토 중인 조직이라면, 가장 먼저 해야 할 일은 현재 사용 중인 시스템의 편향 감사 가능 여부를 확인하는 것이다. 벤더에게 “알고리즘의 입력 변수와 가중치를 설명해 달라”고 요청해 보라. 답변을 받지 못한다면, 바르셀로나와 같은 블랙박스 상태에서 운영하고 있다는 뜻이다.

교차 분석은 선택이 아니라 필수다. 전체 합격률만 봐서는 편향을 발견할 수 없다. 성별×연령, 성별×임금대, 학력×지역 등 교차 변수로 쪼개서 봐야 숨겨진 불균형이 드러난다. 바르셀로나 연구가 보여준 것처럼, 표면적으로 공정해 보이는 시스템이야말로 가장 위험하다.

이건 좀 불편한 이야기지만, 국내에서도 AI 채용 도구의 법적 리스크는 현실화되고 있다. 「채용절차의 공정화에 관한 법률」은 이미 직무와 무관한 정보 수집을 금지하고 있고, 「개인정보보호법」은 자동화된 결정에 대한 설명 요구권을 부여한다. AI가 왜 이 후보자를 탈락시켰는지 설명할 수 없다면, 그 자체가 법 위반 소지다.

💡 실무 시사점: AI 채용 도구 도입은 기술 선택이 아니라 거버넌스 설계다. 벤더에게 알고리즘 설명을 요구하고, 교차 분석 기반 편향 감사를 분기 1회 이상 실행하며, 고영향 결정(서류 탈락·면접 배제)에는 인간 검토를 의무화하라. 공정성 감사 체계 없는 AI 도입은, 보이지 않는 차별을 자동화하는 것과 같다.

#AI채용 #알고리즘공정성 #AI거버넌스 #HRTech #채용편향감사

참고 링크

• Workday, “Putting Trust First: 5 Best Practices for Governing Workplace AI” (2026)
• arXiv, “Applied and Filtered: An End-to-End Algorithmic Fairness Audit of A Public Employment Agency” (2026)
• HBS Working Knowledge, “If a Car Can Drive Itself, Can It Make Life-or-Death Decisions?” (2026)

작성: 서재홍 | NODE