생성형 AI가 거짓말을 하면, 누가 책임져야 할까?

2022년 어느 날, 미국의 한 변호사가 법원에 서류를 제출했습니다. 그런데 그 서류에는 존재하지 않는 판례들이 인용되어 있었죠. 출처는? ChatGPT였습니다. 변호사는 AI가 만들어낸 가짜 판례를 그대로 믿고 법원에 제출했던 것입니다.
이 사건은 우리에게 묵직한 질문을 던집니다. AI가 거짓 정보를 퍼뜨리거나 누군가의 명예를 훼손한다면, 과연 누가 책임을 져야 할까요?

플랫폼들의 영리한 면책 전략

OpenAI의 서비스 약관을 읽어보신 적 있나요? 거기에는 이런 내용이 명시되어 있습니다.

“AI의 출력 내용은 항상 정확하지 않을 수 있으며, 이를 전적으로 신뢰해서는 안 된다. 서비스를 통해 나온 출력의 사용은 전적으로 이용자의 책임이다.”

사실상 “우리가 만든 AI가 뭐라고 말하든, 그걸 믿고 쓴 건 당신 책임”이라는 얘기입니다. 영리한 전략이죠.
실제로 이 전략은 법정에서도 통했습니다. 2023년 미국에서 라디오 진행자 Mark Walters가 ChatGPT를 상대로 명예훼손 소송을 제기했습니다. ChatGPT가 그에 대해 존재하지도 않는 소송 이야기를 꾸며냈기 때문입니다.
하지만 법원은 OpenAI의 손을 들어줬습니다. “충분한 경고 조치가 있었다”라는 이유였습니다.

현실이 된 AI의 부작용들

노르웨이의 한 남성은 ChatGPT에 자신의 이름을 물었다가 경악했습니다. AI는 그를 “아들을 살해한 범죄자”로 소개했습니다. 물론 완전히 거짓된 정보였죠.
더 큰 파장을 일으킨 건 저작권 분쟁입니다. 유명 작가와 코미디언들이 메타와 OpenAI를 집단소송으로 몰아넣었습니다. 이유는? AI가 그들의 책을 무단으로 학습했다는 것입니다.
메타는 “공정 이용(fair use)”이라고 항변했지만, 담당 판사는 회의적이었습니다. “허가 없이 저작물을 AI 훈련에 써서 무한대의 경쟁 콘텐츠를 만들어낼 수 있게 했다면, 이는 원저작물 시장을 파괴할 우려가 있다.”
게티이미지와 스태빌리티AI의 소송도 진행 중입니다. AI가 저작권이 있는 이미지를 학습해 비슷한 이미지를 생성했다는 게 쟁점입니다.

규제의 시대가 열리다

각국 정부들이 드디어 움직이기 시작했습니다.

유럽연합의 선제공격

2024년, EU는 세계 최초로 포괄적 AI 입법인 ‘AI Act’를 채택했습니다. 핵심은 명확합니다.

• AI가 생성한 콘텐츠임을 밝혀라
• 불법 콘텐츠를 만들지 못하도록 설계하라
• 훈련에 사용된 저작권 자료를 공개하라
• 딥페이크는 반드시 표시하라

위반하면? 법적 제재가 따릅니다.

미국의 고민: Section 230

미국에서는 더 복잡한 논쟁이 벌어지고 있습니다. 핵심은 통신품위법 230조입니다. 이 법은 이용자가 올린 게시물에 대해 플랫폼이 책임지지 않도록 보호해 왔습니다.

그런데 AI가 생성한 콘텐츠도 같은 면책을 받아야 할까요?

이 법 제정에 관여했던 입안자들조차 “생성형 AI 챗봇이 만들어낸 내용까지 보호하지는 않을 것”이라고 말했습니다. 2023년 미 대법원판결에서도 한 대법관이 지적했습니다. “AI가 새로운 정보를 생성하는 것은 단순 중개를 넘어선다.”

“AI에는 Section 230 면책을 주지 말자”라는 법안까지 발의되었지만, 현재까지 별도 입법은 무산된 상태입니다.

중국의 강력한 통제

중국은 2023년 생성형 AI 규제안을 시행했습니다. AI 기업들은 출력물을 검열해야 하고, AI로 생성된 이미지와 영상에는 식별 표시를 달아야 합니다.
2024년에는 한 걸음 더 나아갔습니다. 플랫폼들은 AI 콘텐츠에 눈에 보이는 라벨과 보이지 않는 워터마크를 모두 적용해야 합니다. 표시 없는 AI 콘텐츠는 삭제되거나 제한됩니다.

기업들의 자발적 약속

법적 규제만으로는 부족합니다. 기업들도 움직이고 있습니다.

2023년 7월, 미국 백악관은 OpenAI, 구글, 메타 등 주요 AI 기업들을 모았습니다. 그리고 자율적 AI 안전 협약을 발표했죠.

주요 내용은 이렇습니다:

• AI 콘텐츠에 워터마크를 넣는다
• 외부 전문가에게 모델 검증을 받는다
• 위험한 모델은 공개하지 않는다

구글은 이미 2018년에 “AI는 인류에게 이로워야 하고, 차별이나 유해한 용도로 사용하지 않는다”라는 AI 윤리 원칙을 선언했습니다. 마이크로소프트와 메타도 각각 AI 윤리 위원회를 운영하고 있습니다.

플랫폼들의 실전 대응

ChatGPT API: 공동 책임 모델

OpenAI는 ChatGPT API를 제공하면서 엄격한 정책을 함께 부여합니다. API 사용자는 OpenAI의 콘텐츠 필터를 반드시 활용해야 하고, 정책을 어기면 개발자 측에 책임이 발생합니다.
흥미로운 건 OpenAI가 일정 조건에서 “지식재산권 침해 보증”을 제공한다는 점입니다. 단, 고객이 OpenAI의 안전조치와 사용 정책을 충실히 지킨 경우에만 해당합니다.
결국 기술을 제공하는 OpenAI와 이를 활용하는 개발자가 함께 책임지는 구조입니다.

유튜브: 딥페이크와의 전쟁

2023년 말, 유튜브는 새로운 정책을 발표했습니다. AI로 생성되거나 조작된 영상을 올릴 때는 반드시 “AI로 생성됨”을 명시해야 합니다. 지키지 않으면? 영상이 삭제되거나 제재받습니다.
특히 선거, 정치, 의료, 전쟁 등 민감한 이슈에 관한 합성 콘텐츠에는 더욱 엄격한 규칙이 적용됩니다.
본인의 얼굴이나 목소리가 AI로 합성된 딥페이크 영상에 대해서는 당사자가 삭제를 요구할 수 있는 절차도 마련했습니다.

틱톡: AI 콘텐츠 자동 표시

틱톡은 2023년부터 ‘AI 생성 콘텐츠’ 라벨 시스템을 운영하고 있습니다. 특히 외부 생성 AI로 만든 콘텐츠의 경우, 파일에 포함된 디지털 워터마크 정보를 읽어 자동으로 표시합니다.
이를 위해 틱톡은 Adobe 등이 참여한 ‘콘텐츠 진위 인증 표준(C2PA)’을 도입했고, OpenAI, 유튜브, 메타 등과 AI 콘텐츠 식별 기술을 공유하고 있습니다.
라벨 없이 합성 콘텐츠를 게시하면? 삭제되고, 반복하면 제재받습니다.

우리가 맞이할 미래

생성형 AI는 이미 우리 삶 깊숙이 들어왔습니다. 되돌릴 수 없는 변화입니다.
중요한 건 속도가 아닙니다. 기술의 발전만큼 빠르게 책임 체계를 구축하는 것입니다. 그렇지 않으면 책임 공백과 피해자 구제의 사각지대가 생길 수밖에 없습니다.
플랫폼들은 “우리는 도구만 제공할 뿐”이라는 소극적 태도에서 벗어나야 합니다. 적극적으로 위험을 관리하고 이용자를 보호해야 합니다.
이용자들도 마찬가지입니다. AI가 말한다고 해서 무조건 믿어서는 안 됩니다. 비판적 사고와 윤리의식이 필요합니다.

결국 핵심은?

AI 자체는 의사결정 주체가 아닙니다. 문제가 발생했을 때 책임은 결국 사람과 조직에 돌아옵니다.
인공지능 시대에도 궁극적으로 책임의 주체는 인간입니다.
투명성과 신뢰를 바탕으로 한 명확한 책임 체계를 구축할 때, 비로소 AI 기술이 안전하고 지속 가능하게 사회에 안착할 수 있습니다.
앞으로 몇 년은 AI 생태계의 규정이 만들어지는 결정적인 시기가 될 것입니다. 기술 발전과 함께 공정한 책임 시스템, 그리고 사용자를 보호하는 법적 프레임워크가 조화롭게 발전해야 할 때입니다.
결국 생성형 AI의 미래는 기술 자체가 아니라, 우리가 어떤 선택을 하느냐에 달려 있습니다.

Green Geek을 구독하시면 지금 보시는 것과 같은 ICT 소식과 정보를 받아보실 수 있습니다.

용어 사전

판례: 과거 법원에서 판결한 사례로, 비슷한 사건의 판단 기준이 되는 법적 사례를 뜻합니다.
명예훼손: 다른 사람의 평판이나 명성을 해치는 행위로, 거짓 정보를 퍼뜨릴 경우 문제가 됩니다.
면책: 법적으로 책임을 지지 않아도 되는 상태를 의미합니다. 예를 들어 “플랫폼 면책”은 플랫폼이 사용자 행동에 대해 법적 책임을 지지 않는다는 뜻입니다.
서비스 약관: 서비스를 이용할 때 지켜야 할 규칙과 회사의 책임 범위를 명시한 문서입니다.
API (Application Programming Interface): 소프트웨어끼리 기능을 주고받을 수 있게 하는 연결 규칙입니다.
콘텐츠 필터: AI가 부적절한 말이나 위험한 정보를 생성하지 않도록 막는 안전 장치입니다.
명시: 숨기지 않고 드러내어 알린다는 뜻으로, “AI로 생성되었음을 명시하라”는 말은 “이 콘텐츠가 AI가 만든 것임을 표시하라”는 의미입니다.
공정 이용 (Fair Use): 저작권이 있는 자료를 일정 조건 아래 허락 없이도 제한적으로 사용할 수 있게 허용하는 원칙입니다.
저작권: 창작자가 만든 글, 음악, 영상 등을 보호하는 법적 권리입니다.
집단소송: 같은 피해를 본 여러 사람이 모여 함께 제기하는 소송입니다.
딥페이크 (Deepfake): 인공지능 기술을 이용해 사람의 얼굴이나 목소리를 합성하는 기술입니다. 진짜처럼 보이지만 조작된 영상이 문제를 일으키기도 합니다.
AI Act (유럽연합 AI법): 유럽연합이 2024년에 채택한 세계 최초의 포괄적인 인공지능 규제법으로, AI의 투명성과 안전을 의무화합니다.
통신품위법 230조 (Section 230): 미국의 법으로, 사용자가 올린 게시물에 대해 플랫폼이 책임지지 않아도 되도록 한 조항입니다.
면책 조항: “이 내용을 그대로 믿거나 사용했을 때 발생하는 문제는 본인이 책임진다”는 식으로, 기업이 책임을 피하기 위한 문장입니다.
워터마크 (Watermark): 이미지나 영상에 삽입되는 보이지 않거나 흐릿한 표시로, 콘텐츠의 출처를 확인할 수 있게 해줍니다.
콘텐츠 진위 인증 표준 (C2PA): 콘텐츠가 진짜인지, AI로 만든 것인지 추적할 수 있도록 만든 국제 기술 표준입니다.
윤리 원칙 (AI Ethics Principles): 기술을 사용할 때 지켜야 할 도덕적 기준으로, “AI는 인류에 이로워야 한다” 같은 규칙이 포함됩니다.
자율 규제: 정부가 강제로 정하지 않아도 기업 스스로 안전 규칙을 세우고 지키는 것을 말합니다.
법적 제재: 법을 어겼을 때 받는 벌이나 제재를 의미합니다.
지적 재산권 (Intellectual Property Rights): 아이디어, 발명, 창작물 등 눈에 보이지 않는 창작의 결과물을 보호하는 권리입니다.
플랫폼: 사람들이 콘텐츠를 만들고 공유하거나 서비스를 이용할 수 있게 해주는 디지털 공간입니다. 예: 유튜브, 틱톡, 인스타그램.
알고리즘: 문제를 해결하기 위한 계산 절차나 규칙의 집합으로, AI가 데이터를 처리하고 판단할 때 사용하는 논리 체계입니다.
AI 생태계: AI 기술, 기업, 법, 사용자 등이 상호작용하는 전체 환경을 의미합니다.