AI 사용량으로 직원을 평가해도 될까 — 인사평가표에 ‘AI 역량’이 들어갈 때 한국 사업장이 부딪히는 벽

올해 하반기 들어 인사 담당자에게 자주 받는 질문이 하나 있다. “내년 평가표에 AI 활용 항목을 넣으려는데, 사내 AI 도구 사용 로그를 근거로 써도 되나요?” 경영진은 AI 도입 속도를 숫자로 보고 싶고, 대시보드에는 이미 부서별 프롬프트 횟수와 토큰 사용량이 찍혀 있다. 데이터가 있으니 평가에 쓰고 싶은 마음은 이해가 간다.

그런데 이 질문 안에는 서로 다른 문제 세 개가 섞여 있다. 무엇을 AI 역량으로 볼 것인가(측정의 문제), AI가 평가 근거를 요약할 때 무엇이 빠지는가(도구의 문제), 그리고 AI 역량에 따라 보상이 갈릴 때 한국 노동법이 어디서 브레이크를 거는가(규범의 문제)다. 최근 나온 자료 세 건이 이 셋을 각각 정면으로 다룬다.

한 줄 요약: AI 역량을 평가에 넣는 것 자체보다, 사용량 로그를 평가 근거로 쓰고 AI 요약에 평가 판단을 맡기는 순간 측정은 왜곡되고 한국 사업장에서는 근로자 감시·취업규칙·임금 공정성 문제가 한꺼번에 열린다.

‘얼마나 썼나’는 역량이 아니다 — 사용량 지표의 함정

HR 테크 기업 Lattice는 2026년 9월, 자사 직원의 성장 트랙(Grow track)에 ‘AI 유창성(AI Fluency)’ 역량을 공식 편입했다고 밝혔다. 흥미로운 건 무엇을 넣었느냐보다 무엇을 뺐느냐다. 이들은 사용한 도구 수, 사용 빈도, 소비한 토큰 수를 “허영 지표(vanity metrics)”로 규정하고 평가에서 명시적으로 제외했다. AI 사용량 순위표도 만들지 않고, AI 도입률만으로 직원을 재는 일의 전 단계로 쓰지도 않겠다고 못 박았다.

대신 전 직원에게 다섯 가지 행동 역량을 요구한다. AI가 결과물을 만드는 구조와 법·보안 가이드를 이해하는지(구조적 이해), AI 결과를 믿을지 말지 판단하는지(판단력), 무엇을 AI에 맡기고 무엇을 사람이 쥘지 의식적으로 정하는지(의식적 위임) 같은 것들이다. 관리자에게는 다섯 가지가 더 붙는다. 솔직히 이 중 가장 눈에 띄는 건 ‘업무 검토(Work Review)’ 항목이다. 부하 직원의 결과물을 AI에 넣고 나온 피드백을 자기 의견인 양 돌려주지 말라는 것이다.

사용 로그를 평가 근거로 쓰고 싶은 한국 회사가 여기서 읽어야 할 메시지는 분명하다. 사용량은 측정하기 쉽지만, 측정하기 쉬운 것이 곧 평가할 가치가 있는 것은 아니다. 프롬프트를 하루 200번 던지는 직원이 AI 결과를 검증 없이 복붙하고 있을 수도 있고, 하루 열 번 쓰는 직원이 팀 전체의 업무 흐름을 바꿔놓았을 수도 있다. 로그는 앞사람을 우대하고 뒷사람을 놓친다.

사례 — Lattice의 단계적 도입Lattice는 AI 유창성 역량을 바로 평가에 넣지 않았다. 먼저 관리자와 팀원이 나눌 대화 주제를 제시하는 것으로 시작하고, 인사평가 반영은 “내년부터”로 미뤘다. 프레임워크의 효과도 사용량이 아니라 결과로 재겠다고 했다. 몰입도 조사(engagement survey)를 통해 직원들이 AI가 자기 업무에 어떻게 적용되는지 이해하는지, 역량을 쌓는 동안 지원받는다고 느끼는지, 더 가치 있는 일에 집중할 수 있게 됐는지를 묻는 방식이다. 평가 기준을 바꾸기 전에 1년 가까운 적응 기간을 둔 셈이다.

AI가 평가 근거를 요약할 때 사라지는 목소리

두 번째 문제는 평가 ‘과정’에 들어온 AI다. 다면평가 코멘트, 몰입도 조사의 서술형 응답, 동료 피드백을 LLM이 요약해 리더에게 올리는 구조가 빠르게 퍼지고 있다. 2026년 9월 arXiv에 공개된 한 연구(HICSS 2027 채택 논문)는 바로 이 요약 단계를 감사했다. 한 글로벌 전문서비스 기업의 영어·독일어 자유서술 응답 2,586건과 리더용 요약 45건을 대조한 결과다.

결과는 불편하다. 요약 파이프라인은 감정의 긍정·부정이 아니라 ‘얼마나 많이 언급됐는가’를 기준으로 걸러냈다. 비판 자체는 살아남았지만, 단 한 번 제기된 우려는 86%가 요약에서 탈락했다. 주제 보존율로 보면 세 번 이상 언급된 주제는 0.74가 요약에 남았지만 한 번만 언급된 주제는 0.14에 그쳤다. 짧은 응답(65자 이하)으로만 제기된 주제도 0.27로, 길게 설명된 주제(0.65)의 절반에 못 미쳤다. 다른 모델(GPT-4o)로 다시 돌려도 같은 경향이 나왔다. 언급 빈도를 통제하면 감정은 독립적인 영향을 주지 못했다. 그러니 “부정적인 의견이 빠지는지”만 보는 감사로는 이 문제가 안 잡힌다. 특정 주제를 이름으로 지정한 프롬프트도 그 주제만 되살렸을 뿐이다.

86%

한 번만 제기된 우려가 LLM 리더용 요약에서 탈락한 비율

arXiv 2609.38818 / 2026

0.14vs 0.74

1회 언급 주제와 3회 이상 언급 주제의 요약 내 보존율

arXiv 2609.38818 / 2026

30~40%

인도 시니어급 AI 인력이 유사 비AI 직무 대비 받을 수 있는 임금 프리미엄(진입급은 약 20%)

BCT 그룹 CHRO 인터뷰 / People Matters 2026

인도 평균 임금 인상률 — 보상이 희소 스킬·고성과자로 쏠리는 중

BCT 그룹 CHRO 인터뷰 / People Matters 2026

단일 기업 데이터라는 한계는 분명하다. 그래도 한국 사업장에 대입하면 그림이 선명해진다. 다면평가에서 딱 한 명이 “이 팀장은 회의에서 특정 직원만 반복적으로 공개 질책한다”고 썼다고 하자. 평가 요약에서 이 문장이 떨어져 나가면, 그건 단순한 정보 손실이 아니다. 직장 내 괴롭힘의 초기 신호를 회사가 ‘받았는데 못 본’ 상태가 된다. 개인적으로는 이 지점이 가장 위험하다고 본다. 신고 채널이 아니라 평가 코멘트로 들어온 신호라도, 나중에 분쟁이 되면 “회사는 알 수 있었는가”를 따질 때 그 원문이 증거로 등장한다.

Lattice가 관리자 역량에 ‘업무 검토’ 항목을 넣은 이유가 여기서 연결된다. AI 요약을 리더 판단의 출발점으로 쓰는 건 괜찮다. 판단 자체를 요약에 넘기는 순간, 소수 의견과 짧은 경고는 구조적으로 버려진다.

AI 역량이 임금을 가를 때 — 한국 노동법이 거는 브레이크

세 번째는 보상이다. People Matters가 10월 1일 보도한 인도 IT 기업 BCT 그룹 CHRO 인터뷰에 따르면, 인도에서 생성형 AI·MLOps·에이전트 시스템 역량을 가진 인력은 비슷한 비AI 직무보다 시니어급에서 30~40%, 진입급에서 약 20%의 프리미엄을 받을 수 있다. 전체 평균 인상률이 9% 안팎인 가운데 보상이 희소 스킬과 고성과자에게 쏠리고 있다는 진단이다. 한 기업 임원의 현장 관찰이지 시장 조사 수치는 아니라는 점은 감안해야 한다. 그녀는 이를 ‘임금 격차’가 아니라 ‘희소성 프리미엄’이라 부르면서도, 그것이 자의적 보상 결정의 핑계가 되어선 안 된다고 선을 긋는다. 핵심이다 — 직원은 격차 자체보다 격차의 이유를 모를 때 등을 돌린다.

한국 사업장에서 이 흐름을 평가·보상 제도로 옮기려 하면 법적 체크포인트가 최소 세 군데 생긴다.

사용 로그 수집 — 노사협의회 협의 대상이 될 수 있다

근로자참여법 제20조 제1항은 노사협의회가 협의해야 할 사항으로 ‘사업장 내 근로자 감시 설비의 설치'(제14호)를 명시하고, ‘인사·노무관리의 제도 개선'(제5호)과 ‘신기계·기술의 도입'(제9호)도 함께 둔다. AI 도구의 개인별 사용 로그를 평가에 쓰겠다고 하는 순간, 그 로그 수집 체계가 감시 설비에 해당하는지를 두고 다툼의 여지가 생긴다. 판례로 정리된 영역은 아니지만, 30인 이상 사업장이라면 적어도 인사제도 개선 안건으로 협의회에 올리는 것이 안전한 길이다. 개인정보 보호법상 수집 목적 고지와 동의 범위도 함께 점검해야 한다.

평가 기준 변경 — 취업규칙 불이익변경 여지

근로기준법 제94조는 취업규칙을 근로자에게 불리하게 바꿀 때 과반수 노조 또는 근로자 과반수의 동의를 요구한다. 인사평가 규정이 취업규칙의 일부로 운영되고 평가 결과가 성과급·승급에 직결된다면, AI 역량 항목을 새로 넣어 기존 직원 일부의 평가가 내려갈 구조는 불이익변경으로 다퉈질 여지가 있다. 평가 항목 변경이 언제나 불이익변경이라는 뜻은 아니다. 다만 “평가표 양식만 바꿨다”는 설명이 항상 통하지도 않는다. Lattice가 1년 유예를 둔 것도 이런 충격을 흡수하는 장치로 읽을 수 있다.

AI가 평가를 결정할 때 — 자동화된 결정에 대한 권리

2024년 3월 시행된 개인정보 보호법 제37조의2는 완전히 자동화된 시스템으로 이루어진 결정이 권리·의무에 중대한 영향을 미칠 때 정보주체에게 거부권과 설명요구권을 준다. 사람이 실질적으로 검토하는 평가라면 적용되지 않는다. 계약 이행에 필요한 경우 등에는 거부권이 제한되지만 설명을 요구할 권리는 남는다. 이건 좀 역설적인데, AI 요약을 리더가 그대로 승인만 하는 구조라면 ‘사람이 관여했다’는 방어 자체가 약해진다. 앞서 본 86% 탈락 문제와 법적 리스크가 같은 지점에서 만난다.

flowchart TD
    A[AI 역량을 평가에 넣기로 결정] --> B{평가 근거가 사용량 로그인가}
    B -->|예| C[감시 설비 해당 여부 검토 · 노사협의회 협의]
    B -->|아니오 · 행동 역량| D{평가 결과가 성과급·승급에 연결되는가}
    C --> D
    D -->|예| E[취업규칙 불이익변경 여부 검토 · 동의 절차]
    D -->|아니오| F{AI 요약이 판단을 대신하는가}
    E --> F
    F -->|예| G[원문 대조 절차 추가 · 설명요구 대응 준비]
    F -->|아니오| H[시범 운영 후 반영]
    G --> H

아쉽다고 느끼는 대목은, 이 세 문제가 대개 서로 다른 부서에서 따로 결정된다는 점이다. 사용 로그는 IT가 켜고, 평가표는 인사팀이 고치고, AI 요약 기능은 HR 시스템 벤더가 기본값으로 켜둔다. 법적 리스크는 이 셋이 겹치는 곳에서 터지는데, 그 교차점을 보는 사람이 회사 안에 없다.

💡 AI·도구로 측정/자동화 가능한 부분

요약 보존율 점검 — 다면평가·몰입도 조사의 AI 요약을 쓸 때, 원문에서 1회만 언급된 주제가 요약에 남았는지 대조하는 스크립트를 분기마다 돌린다. 감정 분석이 아니라 ‘빈도별 보존율’을 본다.
저빈도 위험 키워드 별도 추출 — 공개 질책·배제·폭언 같은 괴롭힘 관련 표현은 언급 횟수와 무관하게 요약 밖에서 원문 그대로 인사 담당자에게 따로 전달되게 설정한다.
사용량 대신 행동 증거 수집 — 토큰 수가 아니라 “AI 결과를 검증·수정한 기록”, “팀 공용 워크플로로 만든 사례”를 평가 근거로 남기도록 평가 양식에 서술 칸을 둔다.
보상 격차 설명 자동화 — AI 역량 프리미엄을 줄 경우, 직무·스킬·성과 기준별 보상 차이를 자동으로 산출해 직원 본인에게 근거를 보여주는 리포트를 만든다. 설명요구에 대한 사전 대응이기도 하다.
로그 수집 범위 점검표 — 사내 AI 도구가 개인 식별 단위로 무엇을 저장하는지 목록화하고, 노사협의회 안건·개인정보 고지 문구와 대조해 빈칸을 찾는다.

💡 실무 시사점: AI 역량 평가의 성패는 항목 설계가 아니라 근거 설계에서 갈린다. 사용 로그를 근거로 삼으면 측정이 틀어지고, AI 요약에 판단을 넘기면 소수의 경고가 사라지고, 보상에 연결하면서 절차를 건너뛰면 제도 자체가 다툼의 대상이 된다. 그렇다면 지금 우리 회사 평가 대시보드에서 가장 먼저 지워야 할 숫자는 무엇일까.

#AI역량평가 #인사평가 #근로자감시 #피플애널리틱스

참고 링크

Lattice, “Why Lattice Is Adding AI Fluency to Job Competencies” (2026)
arXiv, “Whose Voice Survives the Summary? A Voice-Retention Audit of LLM Employee Listening” (2026)
People Matters, “AI salary premiums are growing. Here’s how employers can protect pay equity: Group CHRO BCT” (2026)

작성: 서재홍 | NODE

실무 문서 가이드