이번 달 뉴스레터에서는 설명 가능한 인공지능(eXplainable AI, XAI)에 대해 소개해보고자 합니다. XAI는 현대 인공지능(AI) 기술이 발전하며 다양한 산업과 일상생활 전반에 걸쳐 이용되고 그 영향력을 계속해서 확대되고 있는 상황에서 대두한 개념입니다. 의료 진단, 금융 거래, 자율주행, 국방 시스템 등과 같은 고위험 분야에서는 AI가 인간의 의사결정을 대체하거나 지원하는 상황이 점차 늘어나고 있으나, 이러한 AI 시스템은 대부분 복잡한 딥러닝 또는 앙상블 기반 모델로 구성되어 있어, 그 작동 원리와 의사결정 과정이 명확히 드러나지 않는다는 문제를 갖고 있습니다. 이러한 ‘블랙박스’ 문제는 신뢰성, 안전성, 법적 책임, 윤리적 판단의 측면에서 심각한 우려를 낳고 있기에 AI가 어떻게 특정 결론에 도달했는지를 설명하고 해석할 수 있는 기술인 XAI의 필요성이 점점 커지고 있습니다.

XAI란 무엇인가요?

XAI는 AI 모델이 자신이 내린 결정이나 예측의 이유를 설명할 수 있도록 해주는 기술입니다. 설명 가능성을 이야기할 때 중요한 개념은 ‘해석 가능성(Interpretability)’과 ‘설명 가능성(Explainability)’입니다. 여기서 해석 가능성은 인공지능 모델의 내부 작동 방식, 즉 입력이 출력으로 변환되는 과정을 사람이 직관적으로 이해할 수 있는 정도를 말합니다. 이는 모델이 어떤 기준이나 규칙에 따라 예측 또는 판단을 수행하는지, 그 논리를 명확히 파악할 수 있는지를 의미합니다. 예를 들어 선형 회귀(Linear Regression) 모델은 입력 변수들과 출력 변수 간의 관계를 단순한 직선(또는 다차원 평면)으로 설명합니다. 어떤 집의 가격을 예측하는 선형 회귀 모델에서 가격 = (50 + 100면적 + 20방의 수)라고 하면, 각 변수의 영향을 숫자로 명확히 해석할 수 있습니다. 즉, 면적이 1 증가하면 가격이 100 증가한다는 해석이 가능한 것이지요.

반면 설명 가능성은 사람이 복잡한 AI 모델이 어떻게 특정 결과나 예측을 도출했는지를 모델 외부에서 해석할 수 있도록 만들어주는 능력을 뜻합니다. 이는 특히 딥러닝, 앙상블(예: 랜덤 포레스트, 그래디언트 부스팅), 대규모 언어 모델(LLM)처럼 내부 구조가 복잡하고 수학적으로 비선형적인 모델에서 중요하게 작용합니다. 이러한 모델들은 높은 정확도와 예측력을 보장하지만, 내부 작동 방식이 수많은 파라미터와 층(layer)들로 구성되어 있어 사람이 직접 보고 이해하기 어렵기 때문입니다. 따라서 모델 자체의 구조를 이해하는 것이 아니라, 그 결과를 ‘외부적으로 설명’하는 기술이 필요합니다. 이 두 개념은 서로 밀접하지만 구분되어야 하며, XAI의 발전을 위해서는 둘 다 중요합니다. 현장에서 실제로는 사용자나 고객이 모델 구조 자체를 이해하지 못하더라도, 예측 결과에 이해 가능한 이유와 설명이 제공되어야 AI 시스템을 신뢰하고 받아들일 수 있기 때문입니다. 예를 들어 병원에서 AI가 암 진단을 내렸을 때, 의사는 ‘모델이 왜 그렇게 판단했는가’를 설명받아야 환자에게 이를 납득시키고 치료 방향을 논의할 수 있습니다. 단지 “정확하다”는 이유만으로는 AI에 의한 암 진단 결과를 받아들이기 쉽지 않기 때문입니다.

위 그림들은 XAI의 한 작동 예입니다. 여기서 XAI 알고리즘은 이미지 분류 모델이 이미지의 어느 지점에 주목하여 결정을 내렸는지를 히트맵 형태로 제공하게 됩니다. 이를 통해 사람들은 AI의 결정에 대한 근거를 이해할 수 있게 됩니다.

XAI는 왜 필요한가요?

XAI의 필요성은 여러 측면이 있습니다. 첫째, 신뢰성과 투명성 확보입니다. 앞서 말한 바와 같이 의료나 자율주행처럼 생명과 직결된 분야에서는 AI가 어떤 근거로 결정을 내렸는지 명확히 설명할 수 있어야 합니다. 예를 들어, 의료 영상 진단에서 AI가 암을 진단했을 경우, 의료진은 해당 예측이 어떤 특징에 기반했는지를 알아야 진단을 신뢰하고 환자에게 설명할 수 있습니다. 둘째, 규제와 윤리적 문제에 대응하기 위해서입니다. AI가 차별적 판단을 하거나 개인정보를 부적절하게 사용할 경우, 법적 책임을 묻기 위해서는 결정 과정의 설명이 필수적입니다. 실제로 유럽의 GDPR(일반 개인정보 보호법)에서는 자동화된 결정에 대한 설명 권리를 규정하고 있으며, 이는 AI 개발자에게 설명 가능한 AI 설계를 요구하게 됩니다. 셋째, 모델의 성능 개선 및 디버깅에도 XAI가 유용합니다. 모델이 잘못된 판단을 하는 원인을 분석하고, 하이퍼파라미터나 입력 특성을 조정하는 데에 설명이 도움이 되기 때문입니다. 또한 모델이 어떤 입력에 과도하게 의존하고 있다면 이를 파악해 모델을 개선하거나 데이터 전처리를 보완할 수도 있습니다. 넷째, 사용자 수용성을 높이는 데에도 XAI가 기여할 수 있습니다. 사용자가 AI의 판단 과정을 이해하고 수용하게 되면, 인간-기계 협업이 더욱 원활해질 수 있으며, 사용자가 AI에 대해 신뢰를 느끼면 실제 업무에 적극적으로 활용할 가능성도 커집니다.

이런 XAI의 주요 수혜자는 다양한데, 일반 사용자뿐 아니라 정부와 정책 기관, 산업계, 연구자, 시스템 개발자 등 모두가 XAI를 통해 혜택을 받을 수 있습니다. 예를 들어 정부는 AI의 투명성을 확보해 공공 정책에 활용할 수 있고, 산업계는 고객 신뢰를 얻으며, 연구자는 모델 성능 개선에 활용할 수 있습니다. 특히 의료, 금융, 법률 등 규제 산업에서는 모델의 설명력이 서비스 품질과 직접적으로 연결됩니다. 시스템 개발자와 운영자에게도 모델 디버깅, 성능 개선, 법적 책임 회피 등을 위해 설명 가능한 구조가 필수적입니다.

XAI 기술은 어떤 것들이 있나요?

XAI 기술은 여러 기준에 따라 분류될 수 있습니다. 먼저 설명의 범위에 따라 개별 예측에 대한 이유를 설명하는 로컬 설명(Local)과 모델 전체 구조나 작동 원리를 설명하는 글로벌 설명(Global)으로 나뉩니다. 예를 들어, 로컬 설명은 특정 환자의 질병 예측 결과에 대해 어떤 요인이 영향을 미쳤는지를 알려주고, 글로벌 설명은 전체 모델이 어떤 기준으로 예측을 수행하는지를 설명해 줍니다. 설명 시점에 따라서도 사전(Ante-hoc)과 사후(Post-hoc) 기법으로 구분됩니다. 사전 기법은 모델을 설계할 때부터 해석 가능성을 내장하고, 사후 기법은 학습이 완료된 모델에 대해 설명을 생성합니다.

기술적 방식에 따라서는 입력을 변형하며 모델의 결과를 관찰하는 교란 기반(Perturbation-based) 기법과, 입력에 대한 출력의 기울기를 계산하는 기울기 기반(Gradient-based) 기법으로 분류됩니다. 대표적인 교란 기반 기법으로는 LIME, SHAP, Counterfactual Explanation이 있고, 기울기 기반 기법에는 Saliency Map, Class Activation Map(CAM), Integrated Gradients 등이 있습니다. Saliency Map은 이미지의 중요한 부분을 시각화하는 기법으로 위에서 설명한 기법이 Saliency Map을 사용한 경우입니다. 이러한 기법들은 딥러닝 모델의 복잡한 구조에 대한 시각적인 이해를 제공하며, 특히 컴퓨터 비전 분야에서 많이 활용됩니다.

XAI가 해결해야 할 도전 과제들

설명 가능한 인공지능(XAI)은 인공지능 시스템의 판단 과정과 결과를 사람이 이해할 수 있도록 설명함으로써, AI의 신뢰성과 수용성을 높이는 데 중요한 역할을 합니다. 그러나 현재 XAI 분야의 연구는 초기 단계로, 여전히 해결해야 할 여러 기술적·윤리적 도전 과제가 있습니다.

첫번째 과제는 다양한 설명 기법 간의 객관적인 비교를 가능하게 할 평가 기준의 표준화 부족입니다. 현재 XAI에는 LIME, SHAP, CAM, Integrated Gradients 등 다양한 설명 기법이 존재하지만, 이들을 공정하고 일관되게 비교할 수 있는 통일된 평가 체계가 없습니다. 일부 연구에서는 설명의 정확성(fidelity), 이해 용이성(interpretability), 설명의 일관성(robustness) 등을 기준으로 평가하지만, 적용 방식이나 해석이 연구자마다 상이해 결과의 재현성과 신뢰성이 떨어집니다. 따라서 XAI 기법의 성능을 정량적으로 평가하고 비교할 수 있는 벤치마크 데이터셋과 평가 프로토콜의 개발이 필요합니다.

두 번째는 도메인 특화된 설명 기법의 부족입니다. 의료, 법률, 금융 등 고신뢰성·고위험 분야에서는 일반적인 설명 방식이 사용자에게 적합하지 않을 수 있습니다. 예를 들어, 의사는 모델이 왜 폐렴 진단을 내렸는지를 영상의 시각적 근거와 함께 설명받아야 이해할 수 있고, 법률가는 판례나 법률 조항에 기반한 설명을 선호할 수 있습니다. 하지만 현재 대부분의 XAI 기술은 표형 데이터나 일반 이미지에 한정되어 있으며, 특정 분야의 전문가 지식을 반영한 설명 생성이 부족합니다. 이로 인해 실제 응용에서의 설명 효과가 떨어지므로, 도메인별 요구사항에 최적화된 설명 기법, 특히 고신뢰성·고위험 분야에서의 개발이 절실합니다.

세 번째로는 설명의 일관성 보장 문제가 있습니다. 현재의 XAI 기술은 동일한 모델과 동일한 입력값에 대해 설명이 매번 달라지며, 이는 사용자의 혼란과 불신을 초래할 수 있습니다. 이는 특히 의료나 법률처럼 정밀성과 일관성이 요구되는 분야에서 심각한 문제가 될 수 있습니다. 따라서 설명 결과의 재현성을 높이기 위한 알고리즘적 안정성 확보와 설명 반복성에 대한 정량적 검증 체계 마련이 필요합니다.

네 번째는 프라이버시와 설명 가능성 간의 균형입니다. XAI는 모델이 어떤 데이터에 기반해 판단을 내렸는지를 설명해야 하므로, 자칫하면 개인 정보나 민감한 정보가 노출될 위험이 있다. 예를 들어 “이 고객은 연령, 성별, 지역 특성 때문에 대출이 거절되었습니다”라는 설명은 개인정보 침해 요소를 내포할 수 있으며 나아가 차별과 편견을 조장·증폭할 수 있습니다. 따라서 Differential Privacy, Federated Learning, fairness 등의 기술을 결합한 XAI 기술 개발이 중요합니다.

마지막으로, 최근 각광받고 있는 대규모 언어 모델(LLM: Large Language Models)에 대한 설명 기법의 부족도 중요한 과제입니다. GPT, Claude, Gemini, PaLM 등 수십억~수천억 개의 파라미터를 갖는 LLM은 강력한 자연어 처리 성능을 보이지만, 내부 작동 원리가 복잡하고 설명하기 어렵습니다. 기존의 기법으로는 reasoning 과정이나 응답 생성 원인을 추적하기 어렵기 때문에 이에 대한 새로운 시도로 모델의 중간 사고 과정을 텍스트로 유도하는 Chain-of-Thought prompting, 서로 다른 예시를 제공하여 기준 차이를 분석하는 Contrastive Demonstration, 텍스트 내 중요한 단어거나 문장을 강조하는 Feature Attribution Map 등이 제안되고 있습니다. 이러한 기법들은 인간처럼 설명 가능한 텍스트 기반 reasoning 흐름을 유도하는 데 유용하지만, 아직 그 효과성이나 일반성은 검증이 필요한 단계입니다.

결론

설명 가능한 인공지능(XAI)은 단순한 기술적 도구를 넘어, 인공지능의 신뢰성, 공정성, 그리고 책임성을 구현하는 핵심 기반으로 자리잡고 있습니다. 그러나 기술의 발전만으로는 AI가 가져올 수 있는 모든 문제를 해결할 수 없습니다. AI가 사회에 어떤 영향을 미칠 것인지에 대한 공론화, 기술의 사용 방식에 대한 사회적 합의, 그리고 다양한 이해관계자 간의 협력이 함께 이루어져야 합니다. 따라서 우리는 단순히 기술을 소비하는 데 그치지 않고, AI가 우리 사회에 어떤 방식으로 쓰이기를 바라는지 스스로 질문하고, 그 방향에 맞춰 기술을 설계하고 활용해 나가야 합니다. 앞으로도 사회 곳곳에서 이에 대한 논의들을 이어나갈 수 있기를 바랍니다.

Green Geek을 구독하시면 지금 보시는 것과 같은 ICT 소식과 정보를 받아보실 수 있습니다.

용어 사전

딥러닝: 사람의 뇌 구조를 모방한 인공신경망을 여러 층으로 쌓아 데이터를 학습하는 AI 기술.
앙상블 모델: 여러 개의 모델을 결합해 하나의 예측 결과를 만드는 기법. 정확도를 높이기 위해 사용됨.
블랙박스 모델: 내부 작동 원리를 알기 어려운 복잡한 AI 모델. 왜 특정 결정을 내렸는지를 알기 힘듦.
해석 가능성(Interpretability): AI 모델이 어떤 방식으로 작동하는지를 사람이 이해할 수 있는 정도.
설명 가능성(Explainability): AI의 결정이나 예측 결과를 외부에서 설명할 수 있도록 해주는 능력.
선형 회귀(Linear Regression): 입력과 출력 사이의 관계를 직선의 수식으로 표현하는 가장 간단한 예측 모델.
입력 변수 / 출력 변수: 입력 변수는 예측에 사용되는 정보, 출력 변수는 AI가 예측하고자 하는 결과.
비선형 모델: 입력과 출력 사이의 관계가 직선이 아닌 곡선처럼 복잡한 구조를 가진 모델.
파라미터: AI 모델이 학습을 통해 조정하는 숫자값. 모델의 성능을 좌우함.
층(Layer): 딥러닝 모델에서 데이터가 통과하는 계산 단위. 여러 층을 거쳐 복잡한 처리를 수행함.
히트맵: 이미지나 데이터에서 중요한 부분을 색으로 시각화한 그림.
GDPR(일반 개인정보 보호법): 유럽연합의 개인정보 보호 법규. 개인에게 자동화된 판단에 대한 설명을 요구할 수 있는 권리도 포함됨.
디버깅(Debugging): 프로그램이나 모델이 잘못된 결과를 낼 때, 그 원인을 찾아 수정하는 작업.
하이퍼파라미터: AI 모델 학습 전 사람이 설정해야 하는 값. 예: 학습률, 반복 횟수 등.
데이터 전처리: AI가 데이터를 더 잘 이해할 수 있도록 정리하거나 변환하는 작업.
모델 구조: AI가 데이터를 처리하는 내부 설계나 방식.
로컬 설명(Local Explanation): 특정 예측에 대한 이유를 설명하는 방식.
글로벌 설명(Global Explanation): AI 모델 전체가 어떤 기준으로 판단하는지에 대한 설명.
사전 기법(Ante-hoc): 모델을 만들기 전부터 설명 가능한 구조로 설계하는 방식.
사후 기법(Post-hoc): 이미 만들어진 모델의 결과를 외부에서 설명하는 방식.
교란 기반(Perturbation-based): 입력 값을 일부러 바꿔가며 모델 반응을 관찰하는 설명 방법.
기울기 기반(Gradient-based): 입력이 바뀌었을 때 출력이 어떻게 변하는지를 수학적으로 계산하는 방식.
LIME, SHAP, Counterfactual Explanation: 대표적인 XAI 기법 이름. AI의 판단을 설명하는 데 사용되는 다양한 방법론.
Saliency Map, Class Activation Map(CAM), Integrated Gradients: 딥러닝 모델이 어떤 부분에 주목했는지를 시각적으로 보여주는 기법.
컴퓨터 비전: 컴퓨터가 이미지나 영상을 보고 이해하게 하는 기술 분야.
벤치마크 데이터셋: 여러 기술이나 모델을 동일 조건에서 비교하기 위한 기준 데이터.
도메인: 특정 산업 분야 또는 사용 환경 (예: 의료, 금융, 법률 등).
재현성: 동일한 조건에서 같은 결과가 나오는지 확인할 수 있는 능력.
Differential Privacy: 개인 정보를 보호하면서도 데이터를 분석할 수 있게 해주는 기술.
Federated Learning: 데이터를 각 장비에 저장한 채로 AI 학습을 가능하게 하는 기술. 개인정보 유출 방지에 효과적임.
Fairness (공정성): AI가 특정 집단에 불리하거나 차별적인 판단을 하지 않도록 하는 원칙.
Chain-of-Thought prompting: AI가 단계별로 생각을 전개하도록 유도하는 방식.
Contrastive Demonstration: AI에게 비교 가능한 예시를 주고 기준 차이를 분석하게 하는 방식.
Feature Attribution Map: 텍스트 내에서 중요한 단어나 문장을 강조하여 결과에 영향을 준 요소를 시각화하는 기술.