관리자 평가의 60%는 편향이다 — AI 인사평가 도구가 피드백 품질을 바꾸는 법

직원 한 명의 1년을 30분 면담으로 압축하는 일. 한국 기업의 인사평가 시즌은 해마다 같은 풍경을 반복한다. 관리자는 기억나는 최근 한 달 성과를 되짚고, 직원은 형식적인 자기평가서를 채운다. 여기서 빠지는 것은 11개월치 맥락이다.

연구 결과가 불편한 숫자를 내놓았다. 관리자가 매기는 평가 점수의 60%가 평가 대상이 아닌 관리자 자신의 성향을 반영한다. 실제 직원 성과가 점수에 미치는 영향은 고작 20%. 나머지 20%는 노이즈다. 솔직히 이건 ‘평가’라 부르기 민망한 수준이다.

한 줄 요약: AI 인사평가 도구는 관리자 편향을 실시간으로 감지하고 피드백 품질을 높이는 데 유효하지만, HR이 ‘판단 보조’ 경계선을 설계하지 않으면 편향의 자동화라는 더 큰 문제를 만든다.

관리자 평가는 왜 관리자 자신을 더 많이 반영하는가

이 문제는 ‘관대화 오류(leniency bias)’라는 이름으로 HR 교과서에 실린 지 수십 년이 됐다. 그런데 숫자로 보면 체감이 다르다. 관리자 평가 점수의 구성을 분해하면 이렇다.

관대화 오류, 최근성 편향, 유사성 편향. 이름은 다양하지만 결과는 하나로 수렴한다. 관리자가 좋아하는 사람에게 높은 점수가 가고, 조용히 일하는 사람에게는 ‘보통’ 등급이 붙는다. 이 구조에서 성과관리는 관리자의 기억력 테스트에 가까워진다.

문제는 이걸 알면서도 고치기 어렵다는 점이다. 관리자 교육을 해도 편향은 무의식에서 작동한다. 평가 양식을 바꿔도 채우는 사람의 인지 구조는 그대로다. 여기서 AI가 끼어들 틈이 생긴다.

AI가 인사평가에서 실제로 하는 세 가지 일

AI 인사평가 도구라고 하면 ‘알고리즘이 등급을 매긴다’는 이미지가 먼저 떠오른다. 현실은 다르다. 2026년 기준으로 실무에 들어온 AI 기능은 크게 세 갈래다.

피드백 요약(Summarization). Lattice의 AI는 동료 피드백, 1:1 미팅 노트, 자기평가, 목표 달성률 등 여러 소스를 한 문단으로 압축한다. 관리자가 30명의 리뷰를 쓸 때 가장 고통스러운 ‘첫 문장 쓰기’를 AI가 초안으로 대신 깔아준다. 개인적으로는 여기가 가장 즉각적인 ROI가 나는 영역이다.

편향 감지(Bias Detection). Textio는 관리자가 평가 문장을 타이핑하는 순간 편향된 언어 패턴을 감지한다. “리더십이 부족하다”는 여성 직원에게, “적극적이다”는 남성 직원에게 편중되는 패턴을 실시간으로 플래그한다. 맞춤법 검사기처럼 작동하되, 검사 대상이 문법이 아니라 공정성이다.

패턴 분석(Aggregate Analytics). Lattice, Betterworks 같은 플랫폼은 인구통계 그룹별 평가 분포를 분석한다. 특정 부서에서 여성 직원의 평균 등급이 남성보다 0.4점 낮다면 — 개별 건은 정당할 수 있지만, 패턴은 체계적 편향의 신호다. HR이 연말 보정(캘리브레이션) 회의에서 이 데이터를 꺼내면 대화의 질이 달라진다.

도구는 준비됐다, 경계선은 누가 긋는가

여기서부터가 이 글의 핵심이다. AI 인사평가 도구를 검토할 때 HR 실무자가 가장 자주 놓치는 질문이 있다. “이 도구가 ‘판단’까지 하는가, ‘재료’만 주는가?”

2026년 시점에서 시장에 나온 도구들은 대부분 ‘재료 제공’ 포지션을 취한다. Betterworks는 코칭 인사이트를 제공하되 최종 등급은 관리자가 결정한다. Lattice는 피드백을 요약하되 점수를 매기지 않는다. 이건 의도된 설계다.

하지만 현장에서는 경계가 흐려진다. 관리자가 AI 초안을 그대로 복붙하면? AI가 요약한 “핵심 강점 3가지”를 관리자가 검증 없이 전달하면? 결국 AI가 평가를 쓴 셈이 된다. 이건 좀 아쉬운 현실인데, 도구가 아무리 ‘보조’를 강조해도 사용자 행동까지 통제할 수는 없다.

NYC 소비자·근로자보호국(DCWP)은 이미 한 발 앞서 움직였다. AI 도구를 사용하는 고용주에게 1년 이내 편향 감사(bias audit)를 의무화하고, 감사 결과를 공개하도록 했다. EU AI Act도 2026년 8월부터 채용·평가에 사용되는 AI를 ‘고위험’으로 분류한다. 법이 경계선을 긋기 시작한 것이다.

그렇다면 한국은? 아직 관련 법제가 없다. 그래서 더 중요한 것이 HR 내부의 자체 가이드라인이다.

한국 기업이 지금 설계해야 할 운영 원칙

AI 인사평가 도구를 도입하려는 한국 기업에게 제안하고 싶은 원칙이 있다. 단, 이것은 도구 선택 이전의 문제다.

원칙 1: AI는 초안을 쓰되, 관리자는 반드시 수정 이력을 남긴다. Lattice, Betterworks 모두 AI 초안 기능을 제공한다. 핵심은 초안을 그대로 쓰지 않게 만드는 것이다. “AI 초안 대비 수정률”을 관리자 역량 지표로 삼으면 된다. 수정률이 0%인 관리자는 평가를 AI에 위임한 것이나 다름없다.

원칙 2: 편향 감지 결과는 개인이 아닌 조직 단위로 공유한다. Textio가 특정 관리자의 편향을 잡아냈다고 해서 그 관리자를 지목하면 방어 기제만 작동한다. 부서 단위, 직급 단위의 패턴 리포트를 공유하고 캘리브레이션 회의의 의제로 올리는 것이 효과적이다.

원칙 3: 파일럿은 한 사이클을 완주한 뒤 확대한다. 급하게 전사 도입하면 관리자의 저항과 직원의 불신이 동시에 터진다. 한 팀, 한 분기 평가를 AI와 함께 돌려보고, 기존 방식과 결과를 비교한 뒤 확대 여부를 판단해야 한다.

관리자의 30분이 달라지면 조직의 1년이 달라진다

인사평가의 본질은 숫자가 아니다. “당신의 일이 조직에 어떤 의미가 있는지”를 말해주는 대화다. 그 대화의 재료가 관리자의 편향된 기억에만 의존해 왔다면, AI는 그 재료의 범위를 넓혀주는 도구다.

다만, 모든 도구가 그렇듯 칼은 방향이 있다. AI가 편향을 감지해주는 것과 AI가 편향을 자동화하는 것은 한 끗 차이다. 그 한 끗을 결정하는 것은 알고리즘이 아니라 HR이 설계한 운영 원칙이다.

당신의 조직에서 인사평가는 관리자의 기억력 테스트인가, 아니면 데이터 기반 대화인가. 이 질문에 즉답이 나오지 않는다면, 그것이 AI 도구를 검토해야 할 첫 번째 이유다.

실무 시사점: AI 인사평가 도구는 ‘판단’이 아닌 ‘판단 재료’로 포지셔닝해야 한다. 관리자의 AI 초안 수정률을 추적하고, 편향 감지 결과는 조직 단위로 공유하며, 파일럿 한 사이클을 완주한 뒤 확대하라. 도구보다 운영 원칙이 먼저다.

#인사평가 #AI #편향감지 #피드백 #성과관리

참고 링크

• Engagedly, “AI in Performance Reviews: Use Cases, Tools & Risks” (2026)
• HRsTechSpace, “AI Performance Review Tools: Complete Guide to Smarter Employee Evaluation” (2026)
• Windmill, “AI Tools for Detecting Bias in Performance Reviews” (2026)
• AIHR, “AI for Performance Reviews: Tools & Strategies for Smarter Talent Decisions” (2026)
• Betterworks, “Best Performance Evaluation Software in 2026” (2026)

작성: 서재홍 | NODE