AI 도입률 70%인데 거버넌스는 왜 0%에 가까운가 — HR이 설계해야 할 알고리즘 감사 체계

한 기업이 AI 채용 시스템을 도입했다. 서류 심사 시간이 80% 줄었다. 면접관 일정 조율도 자동화됐다. 경영진은 만족했고, HR팀은 다음 분기 성과 지표에 도입 효과를 올렸다. 그런데 6개월 뒤 이상한 일이 벌어졌다. 특정 대학 출신 지원자의 서류 통과율이 비정상적으로 낮았다. 알고리즘이 과거 합격 데이터에서 학습한 편향이 조용히 작동하고 있었다. 문제는 누구도 이걸 점검하지 않았다는 사실이다.

솔직히 이건 특별한 사례가 아니다. 대부분의 기업에서 일어나고 있거나, 일어나고 있는지조차 모르는 일이다.

한 줄 요약: AI를 HR에 도입한 기업의 70%는 거버넌스 프레임워크 없이 운영 중이다. 통제 편향에 빠지지 않는 알고리즘 감사 체계를 HR이 직접 설계해야 한다.

알고리즘은 왜 ‘통제 쪽으로’ 기울어지는가

미국 복지행정의 AI 시스템 6개를 추적한 연구가 흥미로운 패턴을 발견했다. AI가 처음 도입될 때는 ‘지원(support)’ 기능을 강조한다. 복지 수급자 매칭, 위험가구 조기 발견, 서비스 연결. 그런데 시간이 지나면 어김없이 ‘통제(control)’ 기능이 비대해진다. 부정수급 탐지, 자격 심사 강화, 자동 자격 박탈.

연구자는 이걸 ‘제도적 래칫(institutional ratchet)’이라 불렀다. 통제 방향으로의 이동은 예산 압박과 정치적 압력만으로 충분하다. 반대 방향, 그러니까 지원 기능을 복원하려면 법원 명령이나 입법 조치 같은 비상 수단이 필요하다. 비대칭이다.

HR에서도 똑같은 구조가 작동한다. AI 출퇴근 관리가 근태 분석으로, 근태 분석이 저성과자 자동 플래깅으로, 자동 플래깅이 퇴직 권고 리스트로 이어진다. 각 단계는 논리적으로 보이지만, 전체를 놓고 보면 시스템이 사람을 걸러내는 기계로 변해 있다.

개인적으로는 여기가 핵심이다. AI 거버넌스의 실패는 기술 결함이 아니라 제도 설계의 부재에서 온다. 알고리즘 오류의 비용을 누가 부담하느냐가 시스템의 방향을 결정한다. 오류 비용이 조직에 귀속되면 시스템은 보수적으로, 개인에 귀속되면 공격적으로 움직인다.

거버넌스 없는 AI 도입, 숫자가 말하는 현실

숫자를 나란히 놓으면 구조가 보인다. 도입률은 70%인데, 편향 문제가 드러난 곳이 30%. 그리고 직원 신뢰도는 절반을 겨우 넘긴다. 도입은 빠르고, 점검은 느리고, 신뢰는 낮다. 이 간극이 거버넌스 부재의 직접적 증거다.

뉴욕시는 이미 자동화 채용 도구에 대한 편향 감사를 의무화하고 결과를 공개하도록 법제화했다. EU AI Act는 고위험 AI 시스템에 대한 사전 영향평가와 지속적 모니터링을 요구한다. 콜로라도 AI Act, 캘리포니아 인권위원회 ADS 규정도 같은 방향이다. 법이 앞서가고 있는데 기업의 내부 체계는 뒤처져 있다.

컴플라이언스를 ‘나중에 붙이는’ 기업이 실패하는 이유

핀테크 기업의 컴플라이언스 책임자가 한 말이 HR에도 정확히 적용된다. “규정 준수는 제품에 내재해야 한다. 나중에 덧붙이면 안 된다(built-in, not bolted-on).” 대부분의 HR AI 도입은 정반대 순서로 진행된다. 먼저 도구를 사고, 그다음 효과를 측정하고, 문제가 터지면 그때서야 정책을 만든다.

HR 시스템도 마찬가지다. 성과평가 AI가 특정 직군이나 연차에 체계적으로 낮은 점수를 부여하는 패턴이 1년간 누적되면, 그 영향을 받은 직원의 승진 기회, 보상 이력, 조직 내 평판은 이미 훼손된 뒤다. 시스템을 고치는 것과 사람에게 미친 영향을 복구하는 것은 완전히 다른 문제다.

실무에서 작동하는 AI 거버넌스 프레임워크

그렇다면 실제로 무엇을 해야 하는가. 학계와 규제기관이 수렴하고 있는 프레임워크는 세 층위로 구성된다.

정책 아키텍처 층에서는 AI 사용 허용 범위, 데이터 최소화 원칙, 역할 기반 접근 권한, 벤더 요구사항, 그리고 가장 중요한 ‘사람이 개입해야 하는 임계점(human oversight threshold)’을 정의한다. 채용 필터링은 AI가 해도 되지만, 최종 탈락 결정은 반드시 사람이 내린다는 식의 경계선이다.

감사 메커니즘 층에서는 배포 전 위험 평가, 편향 및 타당성 검증, 문서화, 배포 후 드리프트(drift) 모니터링을 수행한다. 여기서 핵심은 ‘차등영향(disparate impact)’ 분석이다. 성별, 연령, 학력, 장애 여부 등 보호 속성별로 AI 판단 결과의 분포를 정기적으로 확인해야 한다.

책임 구조 층에서는 의사결정 권한, 에스컬레이션 경로, 리뷰 보드, 사고 대응 절차, 그리고 직원과 지원자의 이의제기(recourse) 메커니즘을 설정한다.

실무 도구로는 Workday의 내장 AI 감사 대시보드, SAP SuccessFactors의 편향 탐지 모듈, 그리고 독립적 제3자 감사 플랫폼들이 이미 시장에 나와 있다. 문제는 도구가 없는 게 아니라 이걸 운영할 프로세스와 책임자가 없다는 것이다.

아래는 AI 거버넌스 도입 시 실무자가 활용할 수 있는 점검 코드 예시다.

# AI 채용 필터 편향 감사 -- 보호 속성별 통과율 비교
import pandas as pd

def bias_audit(decisions_df, protected_attr, outcome_col="passed"):
    # 4/5 규칙(80% rule) 기반 차등영향 검사
    groups = decisions_df.groupby(protected_attr)[outcome_col].mean()
    majority_rate = groups.max()
    report = []
    for group, rate in groups.items():
        ratio = rate / majority_rate if majority_rate > 0 else 0
        flag = "ALERT" if ratio < 0.8 else "OK"
        report.append({"group": group, "pass_rate": f"{rate:.1%}",
                        "impact_ratio": f"{ratio:.2f}", "status": flag})
    return pd.DataFrame(report)

# 사용 예: df에 gender, age_group, university_tier 등의 컬럼 포함
# result = bias_audit(df, "gender")
# 4/5 규칙 미달 그룹이 있으면 즉시 운영 중단 + 원인 분석

투명성이 신뢰를 만든다 — 그리고 신뢰가 도입률을 만든다

AI 사용 사실을 투명하게 공개하면 직원 신뢰도가 25~40%포인트 상승한다는 조사 결과가 있다. 편향 감사를 거친 도구는 그렇지 않은 도구보다 직원 수용도가 50% 이상 높다. 역설적이지만, 거버넌스는 AI 도입의 브레이크가 아니라 가속 페달이다.

직원의 70%는 HR 의사결정에 AI가 관여할 때 그 사실을 알고 싶어 한다. 이건 저항이 아니라 합리적 요구다. 블랙박스 채점이나 리뷰 불가능한 필터에 의존하는 채용 프로세스는 방어하기가 점점 어려워지고 있다.

한국 맥락에서 보면 상황이 더 급하다. 개인정보보호법 개정, AI 기본법 논의가 진행 중이고, 고용노동부도 AI 활용 가이드라인을 준비하고 있다. 법이 나온 뒤에 대응하면 늦는다. MiDAS 사례에서 봤듯, 되돌리는 비용은 도입 비용의 수십 배다.

거버넌스 설계는 기술 부서가 아니라 HR의 일이다

글로벌 역량 센터(GCC)들이 AI 시대에 필요한 리더십 역량을 재정의하고 있다. 기술과 규제를 동시에 이해하는 리더가 미래를 이끈다는 결론이다. HR도 마찬가지다. AI 거버넌스를 IT팀이나 법무팀에 위임하면 안 된다. 사람에 대한 의사결정의 최종 책임은 HR에 있고, 그렇기 때문에 거버넌스 프레임워크의 설계 주체도 HR이어야 한다.

실무적으로 시작할 수 있는 첫 단계는 간단하다. 지금 우리 조직에서 AI가 관여하는 HR 의사결정 목록을 만들어보는 것이다. 채용 서류 필터링, 면접 일정, 성과 분석, 이탈 예측, 교육 추천. 목록을 만들고 나면 각각에 대해 세 가지를 물어야 한다. 오류가 생기면 누가 발견하는가. 오류의 비용은 누가 부담하는가. 이의를 제기할 수 있는 경로가 존재하는가.

이 세 질문에 답할 수 없다면, 그 AI 시스템은 거버넌스 없이 운영되고 있는 것이다. 답은 완벽할 필요 없다. 다만 질문이 존재해야 한다.

실무 시사점: AI를 HR에 도입할 때 거버넌스 프레임워크를 함께 설계하라. 도입 후 점검이 아니라 설계, 감사, 운영의 순서가 되어야 한다. 편향 감사를 분기 1회 정례화하고, AI 관여 사실을 직원에게 투명하게 공개하는 것만으로도 신뢰도는 크게 올라간다.

#AI거버넌스 #HR테크 #편향감사 #알고리즘투명성 #인사데이터

참고 링크

• arXiv, “Hybrid Algorithmic Governance in U.S. Welfare Administration” (2026)
• People Matters, “Compliance should be built into products, not bolted on later” (2026)
• People Matters, “Why India’s GCCs need a new leadership playbook for the AI era” (2026)
• PeoplePilot, “AI in HR Statistics 2026: Adoption, ROI & Trust Data” (2026)

작성: 서재홍 | NODE