오늘날 AI가 사회 전반에 걸쳐 적용됨에 따라, AI 학습에 사용된 데이터의 편향이 AI 모델에도 반영되는 AI 편향(bias) 문제가 대두되고 있습니다. 이번 뉴스레터에서는  2018년 출간된 논문 “인공지능 알고리즘은 사람을 차별하는가?”(오요한, 홍성욱)를  소개하고 인공지능 알고리즘의 차별과 편향되지 않은 의사 결정에 대해 알아보고자 합니다.

인공지능 알고리즘과 차별 문제

2017년 12월, 미국 뉴욕시에서는 시에서 활용되는 알고리즘이 시민의 삶에 미치는 영향과 차별 가능성을 조사하기 위해 ‘알고리즘 설명책임 법안(Algorithmic Accountability Bill)’이 발의되었다. 법안은 학교 배정, 치안, 사회보장 등 다양한 행정 영역에서 활용되는 자동화된 결정 시스템(ADS)의 공정성과 투명성을 확보하기 위해 전문가 태스크포스를 구성하고 2019년까지 보고서를 발간하는 계획을 세웠다. 이는 인공지능 알고리즘이 사회 전반에 광범위하게 도입되면서 발생한 차별 문제와 사회적 논란을 해결하려는 시도였다.

2000년대 이후 딥러닝을 비롯한 기술 발전으로 인공지능의 효율성과 정확성은 비약적으로 향상되었으며, 의료, 법률, 금융뿐 아니라 채용, 치안, 사법, 교육, 이민 관리 등 다양한 영역에서 활용되고 있다. 그러나 2015년 이후 알고리즘이 의도치 않게 편향적 판단을 내린 사례가 속속 드러났다. 예를 들어, 구글 포토는 흑인 얼굴을 ‘고릴라’로 분류했고, 광고 알고리즘은 여성보다 남성에게 고액 연봉 직종 광고를 더 많이 노출했다. 2016년 마이크로소프트의 챗봇 테이가 일부 트위터 사용자들이 훈련한 혐오 표현을 따라하기 시작해서 시범 서비스를 시작한지 만 하루도 안 되어 서비스를 중단했으며, 미국 법원에서 사용된 컴파스(COMPAS) 알고리즘은 흑인에게 불리한 형량 판정을 내린 것으로 밝혀져 큰 논란을 일으켰다. 또한, 아마존의 이력서 평가 알고리즘은 여성 지원자를 불리하게 평가하는 성별 편향 문제로 개발이 중단되었다.

빅데이터 분석에서 알고리즘 공정성 문제를 야기하는 요인

알고리즘은 데이터와 불가분의 관계에 있으며, 특히 현대 인공지능의 기반이 되는 빅데이터는 방대한 상관관계를 포함하고 있어 개인의 행동과 속성을 정교하게 예측할 수 있게 한다. 그러나 이러한 데이터 처리 과정에서 의도적 또는 비의도적 차별이 발생할 수 있다. 이와 같은 차별의 이유와 양상은 다음과 같다. 

먼저 알고리즘 결정 과정에서 의도적 차별이 일어날 수 있다. 기업이나 기관은 법적으로 직접 수집할 수 없는 민감한 정보를 우회적으로 추정하기 위해 대리변수를 활용할 수 있는데, 예를 들어 취업 면접에서 부모의 소득을 물을 수 없더라도 거주지, 소비 패턴, 취미 활동 등의 데이터를 결합하면 사회경제적 지위를 간접적으로 파악할 수 있다. 이와 같은 대리변수(Proxy Variable)의 활용은 표면적으로는 합법적 데이터 활용처럼 보이나, 결과적으로 차별을 방지하기 위한 사회적인 제도와 규범을 무력화하여 성별, 인종, 계층 차별을 심화시킬 수 있다.

의도가 없이도 차별이 일어날 수 있는데 Barocas & Selbst(2016)과 Kroll 등(2017)은 데이터 마이닝 과정에서 다음 네 단계에서 비의도적 편향이 발생할 수 있다고 분석한다.

(1) 목표 변수의 정의 단계

데이터 분석에서 무엇을 예측할지 정의하는 과정 자체가 편향을 내포할 수 있다.

예를 들어, 신용도를 “대출 상환 실패 확률”로 정의하면 금융권의 기존 규칙과 가치관을 반영한 결과가 된다. 또한, 평가 기준에서 알고리즘은 서로 비교하기 어려운 지표보다는 쉽고 일관적으로 비교할 수 있는 지표(예: 재직 기간)를 선호한다. 하지만 재직 기간은 여성의 출산 및 육아에 따른 경력 단절을 고려하지 않는, 중립적이지 않은 지표 성별 차별을 일으킬 수 있다.

(2) 훈련 데이터의 레이블링과 수집

훈련 데이터에 대해 “정답”을 할당하는 레이블링 과정에서 데이터 마이너의 주관성이 개입될 수 있으며, 특정 집단의 데이터가 과소·과대 표본으로 추출되면 편향적인 모델을 생성한다.

예를 들어, 보스턴시의 스마트폰 앱 Street Bump은 도로 파손 위치를 자동 수집하여 도로 보수에 활용하고자 하였으나, 스마트폰 보급률이 계층별로 차이가 있고 서로 다른 계층이 주로 이용하는 도로가 다르다는 점을 고려하면, 앱에서 수집한 정보로 도로 보수 지점을 결정하는 것은 특정 지역에 시 예산이 더 집중되는 결과를 낳을 수 있다.

(3) 특징 선택(Feature Selection)

특징 선택은 모델의 효율성을 위해 최소한의 변수를 선택하는 과정이다. 그러나 주거지 정보 같은 특징을 사용하면 과거 미국의 레드라이닝(redlining) 사례(인종과 민족 소수자가 상당수 거주하는 지역에 금융서비스를 제공하지 않았던 차별적 관행)처럼 인종 및 소득 계층에 따른 차별적 대출 결과를 낳을 수 있다. 이를 피하기 위해서는 세밀한 특징을 추가로 수집해 차별을 완화해야 하지만, 이는 데이터 수집 비용을 증가시키게 된다.

(4) 판단 기준의 대리 지표 문제

알고리즘이 특정 계층을 직접 고려하지 않더라도, 판단 기준 자체가 해당 계층을 지시하는 역할을 할 수 있다. 즉, 특징들이 더 미세하게 세분되고 특정한 계층이 데이터 속성들의 조합으로 표현되는 것이다. 

예컨대 앞서 살폈듯 여성이 경력 단절로 평균 재직 기간이 짧다면, 재직 기간은 구직자의 속성을 유추할 수 있는 대리 지표로 기능하게 된다.

알고리즘에 의한 차별의 실제 예시: 국가 안보 영역에서의 알고리즘 차별

2018년 제주에 입국한 예멘 난민 519명 사례는 난민 심사와 국경 관리에서 알고리즘적 판단이 어떻게 공정성 논쟁을 촉발하는지 보여준다. 정부는 면접·사실 검증·신원/범죄·마약 검사를 포함한 다단계 심사를 거쳐 2018년 10월까지 362명에 인도적 체류를 부여했지만, 난민 지위는 부여하지 않았고, 이는 찬반 양측 모두의 비판을 낳았다. 이 논란은 미국과 EU에서 이미 광범위하게 사용되는 자동화된 위험 예측·신원 검증과 맞물려, 국경 관리의 알고리즘화가 차별을 재생산하는가라는 질문으로 확장된다.

먼저 테러리스트 판별 알고리즘을 살펴보자. 미국 DHS의 US-VISIT를 컨설팅한 ‘스마트 보더 솔루션’ 같은 시스템은 수십 개 데이터베이스(생체 정보, 입출국 기록, 교육·재정·치안 정보 등)를 교차 활용해 “국제전화 대상, 비행훈련 이력, 대량 비료 구매” 등 행태 단서를 조합한 코드화된 위험 프로필을 산출한다. 개인은 국경에서 데이터 조각으로 분해·재조합되어 통과/거부가 판정되며, 역사적 편견이 스코어에 스며들면 소수자·외국인은 구조적으로 불리해진다. 이는 곧 취약 집단을 과표 적화할 위험으로 이어진다.

또한 일상적 출입국·체류 관리의 디지털화는 국경을 공간이 아닌 연속적 감시 체계로 바꾼다. EU의 SIS(입국 거부·수배 정보), Eurodac(난민 지문), VIS(비자 정보)는 국경 통과 이후에도 이동을 추적·관리하는 “디지털 국경”을 형성한다. 유럽연합의 출입국 관리 시스템인 Entry/Exit System은 체류 기간 초과를 자동 경보하는 등, 사후 단속(precaution)을 넘어 사전 차단(pre-emption)으로 이동하는 경향을 보인다. 이 전환은 개인의 실제 범죄 이력과 무관하게 국적·이동성 자체를 위험 신호로 재정의하며, 비EU 국민에 대한 구조적 불리함을 강화한다.

루이스 아무르의 ‘알고리즘 전쟁’ 개념은 이러한 경향을 통찰한다. 상업·군사·민간 영역의 경계가 흐려지면서(예: 물류 RFID, 출입국 RFID·전자여권의 보안 응용) 동일한 추적 기술이 사람의 이동을 통치하는 장치로 전이된다. 결과적으로 “개방된 세계 경제”라는 규범을 유지하면서도, 보이지 않는 적의 위협을 상정해 ‘안전할 수 있다는 인상’을 생산하는 일상적 피아식별이 지속된다. 

이러한 경향들은 공정성과 효율성의 긴장 심화로 이어진다. 사법·치안 분야에서 과거 범죄 통계가 개인·공간의 미래 위험으로 투사되었다면, 안보에서는 국적이 미래 위험을 예측하는 핵심 변수로 기능한다. 과거 데이터와 그 수집 과정의 사회적 선입견이 알고리즘을 통해 현재의 행동을 규율하고, 그 결과가 다시 미래 데이터를 갱신하는 자기 강화적 피드백 루프를 만든다.

결론

이 논문은 사법·치안·안보를 넘어 검색·추천·번역·채용·의료 등 일상 전반에서 인공지능이 차별을 반영·증폭할 수 있음을 지적한다. 차별적 사회가 만든 데이터를 학습한 알고리즘은 불투명한 내부(블랙박스)와 통계·패턴 인식의 전문성 장벽 탓에 판단 근거가 난해하며, 이 때문에 “기계가 더 공정할 것”이라는 과학주의적 기대가 강화된다. 그러나 COMPAS와 인간의 재범 예측을 비교한 연구에서 인간이 소폭 더 정확하고 인종 간 오류 격차도 적었다는 결과는 이런 기대가 현실과 다르다는 것을 보여준다.

인공지능 시스템을 감사(감독)하는 방안으로는 알고리즘 공개를 전제한 화이트박스 방식이 있으나, 지식재산권과 모델 복잡성(정규화·랜덤화 등)으로 해석 가능성과 성능 간 상충이 발생한다. 현실적으로는 다양한 집단을 대표하는 데이터를 투입해 결과 편향을 점검하는 블랙박스 테스팅이 활용되지만, 편향 없는 데이터 수집 자체가 어렵다. 따라서 공적 감독과 더불어 알고리즘 조사 법제, 자동화 결정·설명권, 오픈 데이터 확대 등이 함께 이루어져야 한다.

결정적으로 완전한 공정성은 존재하지 않으며, 정확도·형평·오탐/미탐의 트레이드오프 속에서 맥락별 목표·지표·데이터의 공정성, 사회적 정의의 우선순위를 상황 지향적(situated)으로 정해야 한다는 것을 기억해야 한다. 오늘날 한국은 채용·사법·치안 등에서 자동화가 확산하는 초입으로, 갈등 구조가 복합한 사회적 맥락에서 알고리즘이 차별을 재생산할 위험이 크다. 따라서 선제적 규범·감사 인프라와 시민·정부·산업이 함께 반민주적 사용을 견제하는 ‘알고리즘 시민권’의 형성이 필요하다.

Green Geek을 구독하시면 지금 보시는 것과 같은 ICT 소식과 정보를 받아보실 수 있습니다.

용어 사전

RFID: 전파를 이용해 멀리서도 정보를 읽을 수 있는 태그 기술입니다. 교통카드나 출입카드에 사용되어 가까이 대기만 해도 인식됩니다.
대리변수(Proxy Variable): 직접 물어볼 수 없는 민감한 정보를 간접적으로 추정하게 해주는 다른 정보입니다. 예를 들어 소득을 직접 묻지 않고 거주지역으로 경제적 수준을 짐작하는 것입니다.
데이터 마이닝: 대량의 데이터에서 유용한 정보나 패턴을 찾아내는 과정입니다. 금광에서 금을 캐내듯이 데이터에서 가치 있는 정보를 “채굴”한다는 의미입니다.
딥러닝: 인간의 뇌 신경망 구조를 모방한 인공지능 학습 방법입니다. 컴퓨터가 스스로 패턴을 찾아 학습하는 기술로, 이미지 인식이나 번역 등에 활용됩니다.
레드라이닝: 과거 미국에서 인종과 민족 소수자가 상당수 거주하는 지역에 금융서비스를 제공하지 않았던 차별적 관행을 의미합니다.
레이블링: 훈련 데이터에 정답을 표시해주는 작업입니다. 예를 들어 고양이 사진에 “고양이”라고 표시하여 AI가 무엇을 학습해야 하는지 알려주는 것입니다.
목표 변수: AI가 예측하려는 최종 목표입니다. 예를 들어 “이 사람이 대출금을 갚을 확률”이나 “이 지원자가 회사에 적합한 정도” 등입니다.
빅데이터: 기존 데이터베이스로는 처리하기 어려울 정도로 방대한 양의 데이터를 의미합니다. 예를 들어 소셜미디어 게시물, 온라인 쇼핑 기록, 위치 정보 등이 모여 형성됩니다.
블랙박스: AI의 내부 작동 과정을 사람이 이해하기 어려운 상태를 의미합니다. 결과는 나오지만 어떤 과정을 거쳐 그 결론에 도달했는지 알기 어려운 상황입니다.
블랙박스 테스팅: 내부는 모르지만 다양한 입력을 넣어보며 결과의 공정성을 확인하는 방식입니다.
생체 정보: 지문, 얼굴, 홍채 등 개인을 식별할 수 있는 신체적 특징을 의미합니다. 스마트폰 잠금해제나 출입국 관리에 사용됩니다.
알고리즘: 컴퓨터가 문제를 해결하기 위해 따라가는 단계별 규칙이나 절차입니다. 요리 레시피처럼 “1단계: 이렇게 하고, 2단계: 저렇게 하라”는 명령어 모음이라고 생각하면 됩니다.
자동화된 결정 시스템(ADS): 사람의 개입 없이 컴퓨터가 자동으로 판단하고 결정을 내리는 시스템입니다. 예를 들어 대출 승인 여부를 컴퓨터가 자동으로 결정하는 것입니다.
챗봇: 사람과 대화하는 것처럼 자동으로 답변해주는 컴퓨터 프로그램입니다. 고객센터 채팅이나 AI 상담사 등이 대표적인 예입니다.
컴파스(COMPAS): 미국 법원에서 사용되는 재범 위험도 평가 알고리즘으로, 흑인에게 불리한 판정을 내린다는 논란이 있었습니다.
특징 선택(Feature Selection): AI가 판단할 때 고려할 요소들을 선별하는 과정입니다. 예를 들어 대출 심사 시 “소득, 나이, 직업” 중에서 어떤 것을 중요하게 볼지 정하는 것입니다.
피드백 루프: 결과가 다시 원인에 영향을 미치는 순환 구조입니다. 예를 들어 편향된 AI 판단 → 차별적 결과 → 차별적 데이터 누적 → 더 편향된 AI가 되는 악순환을 의미합니다.
훈련 데이터: AI가 학습할 때 사용하는 예시 데이터입니다. 학생이 문제집으로 공부하듯이, AI도 이 데이터로 패턴을 익혀 나중에 새로운 문제를 해결합니다.
화이트박스: AI의 내부 구조를 공개하여 작동 원리를 투명하게 검토하는 방식입니다.