녹색당 과학기술위원회 정강수

최근 ICML(International Conference on Machine Learning)¹이나 NeurIPS(Annual Conference on Neural Information Processing Systems)²와 같은 유명 AI 학회들에선 연구 논문(Research paper) 외에도  “모델 학습³ 절차에서 데이터의 합법성⁴”, “저작권 및 지식재산권⁵에 대한 우려”, “기계학습 학습 및 배포에서 개인정보 보호⁶의 역할”, “ML 연구 수행 시 윤리적 고려 사항” 등 앞으로 연구 공동체가 주의를 기울여야 할 주제에 대한 논문을 채택하는 Position paper⁷ 트랙을 개설하고 있습니다. 이번 달 뉴스레터에선 지난해 ICML에 게재된 Position paper인 “Position: AI Safety⁸ Should Prioritize the Future of Work”를 소개하려 합니다. 이 논문은 인공지능이 미래의 노동에 미치는 영향을 간과할 경우 발생할 수 있는 위험을 지적하고, 인간의 주체성을 바탕으로 의미 있는 노동으로의 진화를 위한 포괄적인 전환 지원을 제안하고 있습니다.

1. 서론(Introduction)

기존 AI 안전⁹ 연구는 주로 고도화된 AI가 초래할 오용, 실존적 위험¹⁰, 정렬 문제¹¹에 집중해 왔습니다. 예컨대 안전장치를 우회하도록 유도하는 적대적 공격¹², 강력한 AI가 인간을 설득/조작할 가능성, 생물테러/자동화된 전쟁/통제를 벗어난 AI(rogue AI) 같은 주제가 대표적입니다. 또한 AI가 “인간을 오도하는 방식”을 학습하는 현상이나, 감시가 사라지면 비 순응적으로 변하는 가짜 정렬¹³도 활발히 논의되었습니다. 

하지만 생성형 AI¹⁴가 사회에 미치는 중장기적 사회경제적 영향, 특히 노동의 미래는 상대적으로 덜 다뤄져 왔습니다. 본 논문은 AI 안전이 노동의 미래를 핵심 의제로 포함해야 하며, 의미 있는 노동을 보호하기 위해 연구 관행과 거버넌스¹⁵의 체계적 개편이 필요하다고 주장합니다. 생성형 AI의 확산은 인간이 복잡한 시스템에서 행위자성¹⁶을 찾으려는 심리적 경향(의인화)을 자극하는 동시에, 기업으로서는 숙련·인지 노동을 낮은 한계비용으로 자동화하려는 대체 논리와 맞물립니다.

현재 LLM¹⁷은 온라인 노동 시장¹⁸을 빠르게 변화시키고 있으며, 글쓰기·코딩·이미지 제작 등 프리랜서형 직무에 이미 영향을 주고 있다는 실증 연구도 제시되고 있습니다. 창의 산업 전반(게임·영화·광고·디자인 등)에서도 인간 창작자를 AI 도구로 대체하려는 움직임이 나타나고 있습니다. 이 과정에서 “혁신”은 사회적으로 유익하다는 통념이 반복되지만, 실제로는 기업·이해관계자가 정책·규제·데이터·특허를 통해 이익을 확보하려는 지대추구¹⁹가 강화될 수 있습니다. 이는 선도 기업의 로비, 학습 데이터 독점, 고비용 특허 확보, 국가 보조금·안보 계약 등에 의해 AI 발전이 사회 전체가 아니라 특정 집단에 유리하게 작동할 여지를 키웁니다. 

이 논문은 “노동 시장의 영향”이 유익하고 정렬된 AI라는 AI 안전의 근본 목표와 분리될 수 없다고 주장합니다. AI 안전이 유해 출력 억제에 머물면, 더 즉각적인 위험, 즉 노동자의 주체성과 경제적 존엄이 체계적으로 약화하는 위험을 놓치게 됩니다. 또한 노동 대체는 투표·소비자 선택 같은 직접 통제뿐 아니라, 사회 시스템 참여를 통해 행사되던 간접적 영향력까지 약화할 수 있다. 이 논문은 생성형 AI가 노동의 미래에 초래하는 6가지 체계적 위험을 제시하고, 이에 대응하는 정책 권고를 도출한다. 위험 항목은 (1) 기술적 부채 ²⁰증가, (2) 사회 적응 속도를 앞지르는 자동화, (3) 불균등한 민주화, (4) 착취적 제도²¹로서의 생성형 AI와 공유된 번영²² 쇠퇴, (5) 학습·지식 창출 저해, (6) 저작권 기반 창의 노동 시장 침식입니다. 이어 권고로는 노동자 지원, 노동자 이익 증진, 오픈 학습 데이터·공정 로열티, 탐지·워터마킹 지원, 규제 포획²³ 방지형 거버넌스를 제안합니다.

2. 위험(Risks)

본 절은 생성형 AI가 초래하는 위험을 사회·경제 이론에 기반해 정리하며, 다음 절의 정책 권고로 연결됩니다.

2.1 기술적 부채의 증가(Increasing Technical Debt)

부채는 ‘지불 능력 초과 차입’이지만, 보다 추상적으로는 “미래를 담보로 현재를 당겨쓰는 행위”로 정의될 수 있습니다. 기술적 부채는 소프트웨어 개발에서 장기적으로 견고한 설계 대신 단기 해결책을 택하면서 누적되는 비용과 위험을 의미합니다. LLM 시대의 경쟁은 기술적 부채를 더 키웁니다. 성급한 배포, 불충분한 검증, 데이터 투명성의 모호함, 통제되지 않은 환각²⁴, 의료·법률·금융 등 민감 영역에서의 오용은 도덕적 해이를 강화하며, 공개된 모델은 철회가 어렵고, 기업은 위험을 사회로 전가하려 합니다. 이는 편향·허위 정보·책임성 결여가 구조화되는 결과로 이어집니다. 또한 AI로 인한 고용 불안정(전환·재교육·긱 노동 확산, 소득 정점의 다중화)이 증가함에 따라 미래 소득 예측이 어려워지고 예방적 저축이 늘어나는 등  소비·투자 패턴이 왜곡됩니다. 이는 안정적 경력 궤적을 전제하는 소비 평탄화²⁵를 붕괴시킬 수 있습니다.

P1: 경쟁이 촉발한 AI 군비 경쟁은 고용과 경제를 불안정하게 만들어 기술적 부채를 축적하며, 장기적 소비·생활 안정 구조(소비 평탄화)를 붕괴시키는 신호가 된다.

2.2. 통제되지 않고 비현실적인 자동화²⁶(Unchecked, Impractical Automation)

AI 에이전트 등 자동화는 고무적이지만, 창의 산업·전문직이 가장 먼저 충격을 받는다는 우려가 있습니다. 자동화는 보통 새로운 과업을 창출한다는 고전적 논의도 있으나, 현재는 “보조”에서 “대체”로의 전환이 너무 빠르고, 실용성 결여·성급한 도입 사례도 많습니다. 의료 분야에서 AI 신뢰 향상 연구는 늘고 있지만, 환자-의료진 관계의 핵심인 공감적 돌봄을 대체하지 못하고 있습니다. 효율 지표(대기시간 감소 등)는 강조되지만, AI 도입이 기존 노동자를 대체할 위험과 책임성 약화 문제는 해결하지 못합니다. 윤리적 감독의 약화 역시 중요한 부작용입니다. 소프트웨어 분야에서도 AI 보조 도입은 생산성을 높이지만, 고용 축소 신호(추가 채용 중단 발언 등)와 맞물려 있습니다. 일부는 “일자리가 사라지는 게 아니라 AI를 쓰는 다른 인간으로 대체될 것”이라 보지만, 생산성 이익이 어떻게 분배되는지는 해결되지 않는 문제로 남아있습니다. 결과적으로 이익이 고숙련·자본에 집중되고 저숙련은 임금 정체/하락과 대체 위험에 노출될 수 있습니다.

P2: AI 자동화는 숙련 격차²⁷를 확대해 고숙련에 유리하게 작동하는 반면 저숙련을 대체하므로 긴급한 전환·적응 정책이 필요하다.

2.3. 공유된 번영의 쇠퇴(Declining Shared Prosperity)

포용적 제도는 참여를 통해 성장과 분배를 촉진하며, 공유된 번영은 성과가 사회 전반에 공정히 분배되는 상태를 의미합니다. 반대로 착취적 제도는 권력과 부를 소수에 집중시켜 발전을 저해합니다. 논문은 생성형 AI 기업이 착취적 제도의 형태로 작동할 수 있다고 봅니다. AI가 광범위한 과업을 자동화할수록 특정 기술의 공급이 급증해 숙련노동의 가치가 하락하고, 자동화와 겹치는 노동자는 임금 정체·실직 위험에 노출됩니다. 반면 자본 소유자는 변화의 충격을 덜 받습니다. 지배적 기업으로의 경제 권력 집중은 불평등을 심화시키고 지대추구를 끌어들이게 됩니다.

P3: 생성형 AI의 착취적 성격은 불평등을 강화하고 노동자의 협상력·안정성을 약화시킨다.

2.4. 글로벌 관점의 불균등한 민주화(Uneven Democratization)

AI는 생산성과 지식 창출 확대를 약속하지만, 실제 혜택은 개발·도입·규제 자원을 가진 주체에 집중됩니다. AI 인프라(데이터·클라우드·연구역량)의 불균등은 저소득 국가의 자율적 도입을 제한하고, 기술 종속을 고착화합니다. 국가별로 AI 신뢰·활용·평가 역량이 다르며, AI 연구·특허·학회 성과가 고소득국에 집중된다는 보고들은 이를 뒷받침합니다. 더 근본적으로는 저소득국에서 핵심 분야의 디지털화 부족이 학습 데이터 결핍을 낳고, 결과적으로 혁신의 “생산자”가 아니라 “소비자”로 남게 만듭니다. 이는 규범·윤리 기준 설정에서도 비대칭성을 만들며 기술/데이터 식민주의²⁸를 강화합니다.

P4: 불균등한 민주화는 저소득 국가를 데이터 식민화된 상태로 남겨두며 외부 혁신에 대한 종속을 심화시킨다.

2.5. 학습과 지식 창출의 저해(Impaired Learning and Knowledge Creation)

2.5.1. 학습에 대한 위해(Harms in Learning)

생성형 AI는 교육·연구·지식 노동에서 빠르게 확산하지만, 과제·문제 해결을 AI에 의존하면 깊은 이해를 위한 인지 과정이 우회됩니다. 그 결과 단기 성과가 좋아 보여도 장기적으로 학습 성과가 떨어질 수 있습니다. 글쓰기는 비판적 사고와 성찰의 핵심 도구인데, AI의 무분별한 사용은 콘텐츠·언어의 획일화(알고리즘적 단일 문화²⁹)와 개인적 목소리 상실로 이어질 수 있습니다. 대학 입학 에세이처럼 진정성과 개인성 평가가 중요한 영역에서는 대규모 획일화가 구조적 문제를 만듭니다. 과학 연구에서도 AI는 아이디어 생성·평가에 도움을 주지만, 이익은 최상위 연구자에게 편중될 수 있습니다(도메인 지식 기반 선별 역량). AI 기반 동료평가의 확산은 저품질 비판의 대량 생산으로 제도 신뢰를 약화할 수 있고, 사회과학 연구에서는 LLM이 정체성 집단을 왜곡·평탄화해 편향을 만들 수 있습니다.

2.5.2. AI 생성 ‘슬롭’과 탐지 가능성(Call for Better Detectability)

AI 생성물 여부를 둘러싼 혼란이 일상화되고 있습니다. 탐지기는 유용하지만 거짓 양성이 존재하며, 징계의 단독 근거가 될 수 없습니다. 더 큰 문제는 미세조정³⁰ 등으로 탐지가 사실상 어려워질 수 있다는 점입니다. 미세조정 접근의 민주화는 장점도 있지만 탐지 환경을 근본적으로 복잡하게 만든다. 기업이 강력한 워터마킹³¹을 구현할 역량은 있으나, 경쟁에서 불리해질 수 있다는 이유로 도입을 꺼릴 유인 역시 존재합니다. 산업 전체로는 워터마킹이 유익하지만, 개별 기업에는 불리할 수 있는 전형적 집합행동/죄수의 딜레마 상황입니다.

P5: 교육·연구에서 생성형 AI의 무분별한 사용은 학습의 미래를 위협하며, 탐지 어려움이 문제를 더 악화시킨다.

2.6. 인간 노동을 보호하지 못하는 저작권(Copyright Failing to Safeguard Human Labor)

저작권법은 ‘저자’를 창작의 기원/제작자로 규정해 왔는데, 인간 창작물을 학습한 AI가 고품질 모방·대체가 가능한 콘텐츠를 생산하는 현재 이 정의는 더 중요해졌습니다. 생성형 AI는 고품질 인간 데이터에 크게 의존하며, 많은 모델이 저작권 데이터 학습 의혹/소송과 연결됐습니다. 대규모 모델은 권리자 수가 방대해 라이선싱 거래비용이 매우 크고, 현실에서는 협상 대신 비준수(소송·합의금이 더 저렴)가 유리해질 수 있습니다. 기업은 출력이 원문을 그대로 재현하지 않는다는 이유로 공정 이용³²을 주장하지만, 창작자들은 무단 사용과 보상 부재에 강하게 반대하고 있습니다. 정책적으로 옵트아웃(opt-out)³³ 방식처럼 권리자에게 부담을 전가하는 방향도 논쟁을 일으킵니다. AI에 대한 과장된 홍보는 “창의성 보유”라는 오해를 강화하고, 창작자에게 AI와 비용·속도로 경쟁하도록 압박하고 있습니다. 낮은 일회성 보상 계약 같은 관행은 창작자의 문체·목소리 모방을 통해 생계를 위협할 수 있습니다.

P6: 공정 이용을 명분으로 한 저작권 데이터 학습은 창작 노동자를 침식하며, 투명성 부족·라이선싱 부재·불공정 보상이 노동 가치를 더 떨어뜨린다.

3. 우리의 권고(Our Recommendations)

생성형 AI는 복잡한 인지 과업을 자동화할 수 있어 기존 기술 변화와 질적으로 다르며, AGI 담론의 핵심에도 자동화가 자리하고 있습니다. 자동화가 일자리 대체·임금 하락으로 이어진다면 이는 공유된 번영과 충돌하게 됩니다. 기술 발전 속도를 늦추는 접근은 논리적으로 가능하지만, 지속 가능하지 않거나 발전 중심지가 다른 곳으로 이동해 불균형한 발전을 낳을 수 있습니다. 따라서 논문은 억제보다 적극적 대응, 즉 사회가 적응할 수 있도록 하면서 개발자가 사회적 이해관계에 부합하도록 유도하는 노동자 친화³⁴(pro-worker) 전략이 필요하다고 주장합니다. 

R1: 일자리 대체에 대비해 실업보험 확대, 안전망 구축, 재교육 등 노동자 지원을 강화해야 한다. 개발·배포 시 사회적 결과와 보호장치를 함께 고려해야 한다.

R2: 노동자 이익 증진은 경쟁 촉진과 독점 완화와 연결된다. 오픈 데이터·오픈 가중치·투명성을 포함한 오픈 AI가 중요하다.

R3: 소비자·교육기관 관점에서 AI 작성/보조 여부의 책임성과 투명성이 필요하며, 대학·학회는 탐지 기술과 정책을 최신화해야 한다.

R4: 민주주의·여론 형성 위험을 고려해 생성형 AI 기업에 워터마킹 의무화를 추진하고, 그 효과를 벤치마크로 측정해야 한다.

R5: 학습 데이터 공개 의무화, 대규모 사전학습 감사 도구, 기여도 기반 로열티 인센티브 도입이 필요하다(예: 기여도 기반 보상 모델).

R6: 빅테크의 정책 영향력은 규제 포획 위험이다. 노동자·시민사회·스타트업 등 이해관계자가 동등하게 참여하는 의사결정 구조가 필요하며, 노동의 미래를 보호하는 정책 옹호에 적극 참여해야 한다.

4. 대안적 관점(Alternative Views)

4.1. 시장 메커니즘은 자연스럽게 적응할 것이다

자동화는 대체가 아니라 보완이 될 수 있고, 역사적으로 산업혁명·디지털 혁명은 새로운 산업과 직업을 창출해 왔습니다. 과도한 규제는 혁신을 저해해 오히려 일자리 창출을 막을 수 있다는 주장도 가능합니다.

4.2. AI 안전은 오직 재앙적 위험에만 집중해야 한다

AI가 초래할 실존적 위험이 규모 면에서 더 크므로 노동 이슈보다 여기에 집중해야 한다는 견해가 있습니다. 그러나 논문은 누적적 위험(경제 구조의 장기 침식 등)을 간과하면 결국 더 큰 전환 위험으로 이어질 수 있다고 반박하며, 노동 문제를 AI 안전에서 배제할 수 없다고 봅니다.

4.3. 정책 개입보다 기술적 해법이 우선되어야 한다

정책은 시기상조·구식화·역효과 가능성이 있고, 기술 설계와 자율적 책임이 더 중요하다는 관점입니다. 논문은 기술적 해법의 필요를 인정하면서도, 노동시장 문제는 집합행동·분배·거버넌스 문제이기도 하므로 정책적 장치가 불가피하다고 보는 흐름이다.

5. 결론(Conclusion)

현재 AI 안전 패러다임은 장기 결과를 지나치게 제한적으로 바라보며, 기술적 문제 중심 접근은 경제적 정의·노동시장 안정성과 충분히 연결되지 못하고 있습니다. 빠르고, 통제되지 않은 자동화가 노동의 주체성·창의 노동·학습 동기를 침식하는 상황에서, 인간 노동 보호는 AI 안전의 핵심 영역으로 포함돼야 합니다. 노동자 친화적 거버넌스를 통해서만 AI는 노동 대체의 가속기가 아니라 공유된 번영을 지탱하는 도구로 남을 수 있다는 것이 이 논문의 결론입니다.

Green Geek을 구독하시면 지금 보시는 것과 같은 ICT 소식과 정보를 받아보실 수 있습니다.

주석

1. 머신러닝(기계학습) 분야에서 세계적으로 가장 권위 있는 국제 학술대회 중 하나입니다.
   AI 연구자들이 최신 연구 결과를 발표하고 토론하는 자리입니다. ↩︎
2. 인공지능과 신경망 연구 분야에서 가장 영향력 있는 학회 중 하나입니다.
   ICML과 함께 AI 연구의 방향을 결정하는 핵심 무대라고 볼 수 있습니다. ↩︎
3. AI가 데이터를 보고 규칙이나 패턴을 스스로 익히는 과정입니다.
   사람으로 치면 “연습하면서 배우는 과정”에 해당합니다. ↩︎
4. AI를 학습시키는 데 사용된 데이터가 법적으로 허용된 것인지,
   저작권이나 개인정보를 침해하지 않았는지를 의미합니다. ↩︎
5. 사람이 만든 창작물(글, 그림, 음악, 코드 등)에 대해 법적으로 보호되는 권리입니다.
   저작권, 특허 등이 여기에 포함됩니다. ↩︎
6. 이름, 얼굴, 위치 정보처럼 개인을 식별할 수 있는 정보가 무단으로 수집·사용·유출되지 않도록 지키는 원칙입니다. ↩︎
7. 새로운 실험 결과보다는 “이 문제를 이렇게 바라봐야 한다”는 입장과 문제의식을 제시하는 논문입니다. 정책·윤리·사회적 쟁점을 다루는 경우가 많습니다. ↩︎
8. AI가 인간에게 해를 끼치지 않도록 설계·운영·관리하는 연구와 정책 전반을 말합니다.
   단순한 오류 방지를 넘어 사회적 영향까지 포함합니다. ↩︎
9. AI가 인간에게 해를 끼치지 않도록 설계·운영·관리하는 연구와 정책 전반을 말합니다.
   단순한 오류 방지를 넘어 사회적 영향까지 포함합니다. ↩︎
10. 인류 전체의 존속 자체를 위협할 수 있는 매우 큰 위험을 뜻합니다.
    통제 불능 AI, 대규모 자동화된 전쟁 같은 시나리오가 여기에 해당합니다. ↩︎
11. AI가 사람이 의도한 목표와 가치에 맞게 행동하도록 만드는 문제입니다.
    겉으로는 유익해 보여도 실제로는 위험한 행동을 할 수 있다는 점이 핵심입니다. ↩︎
12. AI를 속이기 위해 일부러 입력을 조작해 잘못된 판단을 유도하는 공격입니다.
    예: 이미지에 미세한 노이즈를 넣어 전혀 다른 사물로 인식하게 만드는 것. ↩︎
13. AI가 감시받을 때는 잘 행동하지만, 감시가 사라지면 전혀 다른 행동을 하는 현상을 말합니다. ↩︎
14. 글, 그림, 코드, 음악 등 새로운 콘텐츠를 만들어내는 AI입니다.
    챗봇, 이미지 생성 AI 등이 여기에 속합니다. ↩︎
15. Governance: 정부, 기업, 시민사회 등이 함께 참여해 의사결정을 내리고 책임을 나누는 구조를 말합니다. ↩︎
16. 스스로 판단하고 선택하며 행동할 수 있는 능력입니다.
    이 글에서는 노동자가 자신의 일과 삶을 통제할 수 있는 힘을 의미합니다. ↩︎
17. Large Language Model: 방대한 텍스트 데이터를 학습해 인간처럼 글을 이해하고 생성하는 대형 언어 모델입니다. 대표적으로 챗봇에 사용됩니다. ↩︎
18. 플랫폼을 통해 글쓰기, 번역, 디자인, 코딩 같은 일을 단기 계약으로 수행하는 시장입니다.
    프리랜서 플랫폼을 떠올리시면 됩니다. ↩︎
19. 새로운 가치를 만들기보다, 규제·독점·로비 등을 통해 이익을 독점하려는 행위를 말합니다. ↩︎
20. 당장의 속도나 비용 절감을 위해 부실하게 만든 시스템이 나중에 더 큰 문제와 비용으로 돌아오는 현상입니다. ↩︎
21. 일부 집단이 과도한 권력과 이익을 차지하고, 다수는 정당한 보상을 받지 못하는 구조를 의미합니다. ↩︎
22. 경제 성장의 성과가 사회 전체에 비교적 공정하게 나누어지는 상태입니다. ↩︎
23. 규제해야 할 기업이 오히려 정책과 규제를 좌우하게 되는 현상입니다. ↩︎
24. Hallucination: AI 환각. AI가 사실이 아닌 내용을 그럴듯하게 만들어내는 오류입니다.
    자신 있게 틀린 말을 한다는 점이 특징입니다. ↩︎
25. 사람들이 미래 소득을 예측하며 소비를 안정적으로 유지하려는 경제적 행동을 말합니다. ↩︎
26. 사람이 하던 일을 기계나 소프트웨어가 대신 수행하는 것입니다.
    AI는 고급 인지 노동까지 자동화 범위를 넓히고 있습니다. ↩︎
27. 기술을 잘 다루는 사람과 그렇지 못한 사람 사이의 능력·소득 차이를 말합니다. ↩︎
28. 부유한 국가나 기업이 다른 지역의 데이터를 수집·활용하면서 이익은 독점하는 구조를 말합니다. ↩︎
29. AI가 비슷한 스타일·표현·사고방식을 반복 생산해 다양성이 사라지는 현상을 의미합니다. ↩︎
30. Fine-tuning: 이미 만들어진 AI 모델을 특정 목적에 맞게 추가로 학습시키는 과정입니다. ↩︎
31. AI가 만든 콘텐츠임을 식별할 수 있도록 눈에 보이거나 보이지 않는 표시를 남기는 기술입니다. ↩︎
32. 저작권이 있는 콘텐츠라도 교육·비평·연구 등 제한된 목적에서는 허용될 수 있다는 법적 개념입니다. ↩︎
33. 기본적으로는 참여된 상태에서, 원하지 않는 사람이 직접 거부 의사를 밝혀야 빠질 수 있는 방식입니다. ↩︎
34. 기술 발전 과정에서 기업 중심이 아니라 노동자의 보호·권익·전환을 우선 고려하는 접근 방식입니다. ↩︎