녹색당 과학기술위원회 정강수

International Conference on Machine Learning(ICML)은 기계학습 분야의 대표적인 국제학술대회로, 최신 기계학습 이론과 응용 연구를 발표하는 세계적인 학술대회입니다.

ICML을 비롯한 학술대회에는 발표 세션 외에도 특정 주제에 초점을 맞춘 워크숍도 열리는데, 워크숍들에선 특정 연구 분야의 최신 동향이나 아직 정립되지 않은 새로운 연구 문제를 중심으로 연구자들이 모여 발표와 토론을 열곤 합니다.

오늘 뉴스레터에서는 이번 주에 서울 코엑스에서 열리는 2026 ICML의 워크숍들을 개괄하고, 그 중 “Philosophy Meets Machine Learning: What Counts As Trustworthy?” 워크숍을 소개하려 합니다. ICML 2026에서는 총 44개의 워크숍과 4개의 affinity workshop이 개최되었습니다. (위크숍 리스트 보기).

올해 워크숍 선정에는 총 247개의 제안서가 접수되었으며, 이는 전년도 약 150건보다 많이 증가한 수치로 해를 거듭할수록 증가하는 AI 분야에 대한 관심을 나타냅니다. 선정된 워크숍의 주제를 살펴보면 대규모 언어모델과 에이전트 시스템, 추론(reasoning)¹, 해석 가능성(interpretability)², 신뢰 가능한 AI(trustworthy AI)³, 프라이버시 및 보안, 과학 및 의료 응용, 로보틱스, 생성 모델 등 다양한 분야가 포함되어 있습니다. 또한 철학, 경제학, 사회과학 등 인접 학문과의 융합을 시도하는 워크숍도 다수 포함되어 있어, 기계학습 연구가 기술 자체의 발전뿐 아니라 실제 활용 과정에서 발생하는 신뢰성, 안전성, 사회적 영향 등을 함께 고려하는 방향으로 확장되고 있음을 확인할 수 있습니다.

이 워크숍 중 Philosophy Meets Machine Learning: What Counts As Trustworthy? 은 철학과 기계학습의 접점에서 ‘신뢰할 수 있는 AI(Trustworthy AI)’의 개념을 재검토하고, 기계학습의 핵심 개념에 대한 철학적 기초를 논의하는 것을 목적으로 합니다. 워크숍은 최근 기계학습 연구에서 빈번하게 사용되는 신뢰성(trustworthiness), 설명 가능성(explainability), 공정성(fairness), 인과성(causality), 불확실성(uncertainty), 해석 가능성(interpretability) 등의 개념이 기술적인 정의만으로는 충분하지 않으며, 철학에서 오랫동안 논의되어 온 개념적 인식론적 논의를 함께 고려할 필요가 있다는 문제의식에서 출발했습니다. 워크숍 프로그램에서 살펴본 초청 강연과 발표 논문들은 기계학습 연구와 철학 간의 학제 간(interdisciplinary) 교류를 촉진하고, 기계학습 시스템을 이해하고 평가하기 위한 개념적 토대를 마련하는 것을 주요 목표로 제시하고 있습니다. 이 워크숍에서 발표된 논문들은 철학적 논의를 기계학습의 실제 문제와 연결하려는 다양한 시도를 담고 있습니다.

그중에서도 “A Definition of Good Explanations and the Challenges Explaining LLM Outputs“는 ‘좋은 설명’이란 무엇인가라는 근본적인 질문에서 출발하여, 현재의 대규모 언어모델이 왜 사람에게 만족스러운 설명을 제공하기 어려운지를 논의한 연구입니다.

논문은 먼저 “좋은 설명이란 무엇인가”를 정의해야 한다는 문제의식에서 출발합니다. 저자들은 설명 가능성이 여러 맥락에서 AI 도입에 중요하지만, AI 시스템의 출력을 잘 설명하려면 설명 자체에 대한 개념적 이해가 선행되어야 한다고 이야기합니다. 이 논문은 기존의 반사실적 설명(counterfactual explanation)⁴ 개념을 출발점으로 삼되, 좋은 설명은 단순히 “그 사실이 없었다면 결과도 달라졌을 것”이라는 조건만으로 충분하지 않으며, 설명을 듣는 사람의 기존 믿음을 함께 고려해야 한다고 주장합니다.
논문이 먼저 다루는 것은 반사실적 설명인데, 반사실적 설명은 어떤 관찰 결과가 있었을 때 특정 사실이 참이 아니었다면 그 결과도 관찰되지 않았을 것이라는 방식으로 설명을 이해합니다. 예를 들어 Bob이 젖은 머리로 사무실에 들어왔을 때 “왜 머리가 젖었는가?”라는 질문에 “비가 왔기 때문”이라고 답하는 것은, 비가 오지 않았다면 Bob의 머리가 젖지 않았을 것이라는 점에서 반사실적 설명이 됩니다. 저자들은 이 접근이 기계학습 설명과도 잘 맞는다고 주장하는데, 실제로 기계학습에서의 반사실적 설명은 입력이 어떻게 바뀌면 다른 결정이 나왔을지를 보여주는 방식으로 자주 이해되기 때문입니다.

그러나 논문은 반 사실성만으로는 좋은 설명을 충분히 정의할 수 없다고 지적합니다. Bob의 머리가 젖은 사례에서 “Bob이 방금 수건으로 머리를 말리지 않았기 때문”, “Bob 위에 그를 말려주는 드론이 날고 있지 않았기 때문”, “계단에 매우 강하고 뜨거운 바람이 불어 그를 말리지 않았기 때문”과 같은 사실들도 넓은 의미에서는 결과에 영향을 줄 수 있는 반사실 조건처럼 보일 수 있습니다. 하지만 이런 답변들은 일반적으로 좋은 설명처럼 느껴지지 않습니다. 또한 “머리카락은 물이 달라붙는 물질이기 때문”이나 “비를 맞으면 젖기 때문” 같은 긍정적 사실도 참이지만 설명으로서의 가치는 낮습니다. 저자들은 이러한 답변들이 나쁜 설명처럼 보이는 이유가 부정문이기 때문이 아니라, 설명을 듣는 사람이 이미 높은 확률로 믿고 있는 사실이기 때문이라고 여깁니다.
이로부터 논문은 좋은 설명의 두 번째 조건을 제안합니다. 좋은 설명은 관찰 결과에 대해 반사실적으로 관련된 사실이어야 할 뿐 아니라, 설명을 듣는 사람이 사전에 낮은 확률로 믿고 있던 사실이어야 한다는 것입니다. 다시 말해, 설명은 결과를 바꾸는 데 중요한 사실이면서 동시에 청자에게 새로운 정보를 제공하는 사실이어야 합니다. 저자들은 이를 H2라는 형태로 제시합니다. H2에 따르면 어떤 관찰에 대한 설명은, 그 사실이 참이 아니었다면 관찰 결과도 발생하지 않았을 사실이며, 동시에 설명자가 보기에 청자가 낮은 확률로 믿고 있었던 사실입니다.

이 정의의 중요한 결과는 설명이 본질적으로 청자에 따라 달라진다는 점입니다. 같은 사건에 대해서도 듣는 사람이 무엇을 이미 알고 있는지에 따라 좋은 설명은 달라질 수 있습니다. 예를 들어 Bob의 머리가 젖은 이유를 묻는 사람이 이미 창밖을 보며 비가 오는 것을 알고 있었다면, “비가 왔기 때문”이라는 답은 좋은 설명이 되기 어렵습니다. 이 경우에는 “우산이 없었기 때문”처럼 청자가 알지 못했을 가능성이 더 큰 사실이 더 적절한 설명이 될 수 있습니다. 논문은 이러한 설명의 맥락 의존성을 청자의 prior belief⁵, 즉 관련 사실들에 대해 청자가 사전에 부여하고 있던 믿음의 확률로 설명합니다.

논문은 또한 설명이 하나의 사실만으로 구성되지 않을 수 있다고 말합니다. 어떤 경우에는 여러 사실이 함께 제시되어야 설명이 완성됩니다. 모든 관련 사실을 다 포함하면 설명이 지나치게 길어질 수 있으므로, 좋은 설명은 정보량을 높이는 동시에 간결해야 합니다. 저자들은 이를 설명의 두 가지 목표, 즉 청자가 관찰 결과를 이해할 수 있도록 충분한 믿음의 갱신을 일으키는 것과 가능한 한 적은 수의 사실을 포함하는 것 사이의 균형 문제로 다룹니다.

이 논의를 설명하기 위해 논문은 XOR⁶ 구조의 예를 듭니다. Charlie가 같은 밤 물과 음식에 각각 독을 탔지만, 물도 마시지 않고 음식도 먹지 않아 살아남았다고 합시다. “물을 마시지 않았다”와 “음식을 먹지 않았다”라는 각각 Charlie가 살아남은 이유를 설명하는 사실입니다. 그런데 만약 두 독이 함께 섭취될 때는 상호작용 때문에 오히려 치명성이 낮아진다면, 두 사실이 모두 거짓이 되었을 때의 결과는 단순하지 않습니다. 이 사례에서 저자들은 좋은 설명이 “물을 마시지 않았고 음식을 먹지 않았다”처럼 복수의 사실로 구성될 수 있으며, 중요한 것은 관찰 결과를 설명하기 위해 관련 사실들을 독립적으로 분해하고 각각에 대해 반사실적으로 추론할 수 있어야 한다는 점이라고 설명합니다.
논문은 좋은 설명을 만들기 위해서는 먼저 고려 가능한 관련 사실들의 집합을 정해야 한다고 주장합니다. 그러나 일반적인 일상 상황에서는 어떤 사실들이 결과에 영향을 줄 수 있는지를 모두 식별하는 일이 매우 어렵습니다. 저자들은 이 문제가 철학과 인공지능에서 알려진 frame problem⁷과 유사하다고 설명한다. 다만 자동화된 시스템이나 기계학습 시스템의 설명에서는 이 문제를 어느 정도 제한할 수 있습니다. 사용자가 시스템에 어떤 입력을 제공하고 출력을 했으며, 그 출력이 왜 나왔는지를 묻는 경우라면, 설명은 대체로 입력에 관한 사실이나 시스템 자체에 관한 사실로 제한될 수 있기 때문입니다.

이 지점에서 논문은 기존 기계학습의 반사실적 설명과 다른 관점을 제시합니다. 많은 기계학습 설명 연구는 주로 입력을 어떻게 바꾸면 출력이 달라지는지를 찾습니다. 그러나 저자들은 설명이 입력에 관한 사실뿐 아니라 시스템에 관한 사실도 포함할 수 있다고 봅니다. 예를 들어 은행의 자동 대출 심사 시스템이 어떤 고객의 대출을 거절했을 때, “당신의 소득이 기준 이하였기 때문”이라는 설명은 입력에 관한 사실처럼 보입니다. 하지만 실제로는 “이 시스템은 특정 소득 기준 이하의 신청자를 거절한다”라는 시스템의 규칙 또는 작동 방식에 관한 사실이 함께 전달되어야 설명이 성립합니다. 사용자는 자신의 소득 자체는 이미 알고 있기 때문에, 설명의 핵심은 소득이라는 입력값이 시스템 안에서 어떤 방식으로 처리되었는가에 있습니다.
논문의 후반부에서는 앞서 제안한 ‘좋은 설명’의 정의를 바탕으로, 왜 대규모 언어모델(LLM)의 출력을 설명하는 것이 본질적으로 어려운지를 논의합니다. 저자들에 따르면 LLM은 자연어 입력을 고차원 벡터⁸로 변환하여 연산한 뒤 다시 자연어를 생성하는 구조를 가지므로, 입력이 사람이 이해하는 독립적인 사실들의 집합으로 명확하게 표현되지 않습니다. 따라서 어떤 입력 요소가 출력에 결정적인 영향을 미쳤는지, 그리고 어떤 사실이 반사실적 설명(counterfactual explanation)이 될 수 있는지를 식별하기 어렵습니다.

이를 설명하기 위해 논문에서는 은행 대출 심사 예시를 제시합니다. 사용자가 나이와 소득을 자연어로 입력했을 때 LLM이 대출을 거절(no)했다고 가정해 보겠습니다. 이후 동일한 입력에서 소득만 높였더니 승인(yes)으로 결과가 바뀌었다면, 직관적으로는 “소득이 낮았기 때문에 거절되었다”라고 설명할 수 있을 것처럼 보입니다. 그러나 저자들은 자연어 입력은 동일한 의미를 다양한 문장과 토큰⁹ 배열로 표현할 수 있으며, 표현 방식이나 문장 구조, 심지어 오타와 같은 요소도 모델의 출력에 영향을 줄 수 있기 때문에 단순히 ‘소득’만이 결과를 결정한 요인이라고 단정하기는 어렵다고 설명합니다.
또한 입력을 어떻게 변화시켜야 하나의 의미 있는 반사실적 변화로 볼 것인지도 명확하지 않습니다. 개별 토큰을 기준으로 설명을 구성할 수도 있지만, 하나의 의미 있는 정보가 여러 토큰으로 표현되는 경우가 많고, 여러 토큰의 조합까지 고려하면 가능한 경우의 수가 급격히 증가하게 됩니다. 이처럼 LLM에서는 설명의 대상이 되는 입력 자체를 정의하는 것부터 어려운 문제라고 지적합니다.
저자들은 LLM 설명이 어려운 또 다른 이유로, 설명은 입력 정보뿐 아니라 모델이 해당 정보를 어떻게 처리하는지에 대한 시스템 수준의 정보까지 포함해야 한다고 설명합니다. 예를 들어 “소득이 낮았기 때문에 거절되었다”라는 설명은 실제로는 모델이 소득 정보를 어떤 기준으로 판단했는지를 함께 의미합니다. 그러나 수십억 개 이상의 가중치로 구성된 LLM에서 이러한 내부 동작을 간결하고 이해하기 쉬운 설명으로 제시하는 것은 현실적으로 매우 어렵습니다.

논문에서는 최근 제안된 sparse autoencoder¹⁰, transformer circuits¹¹, causal intervention¹²과 같은 연구들이 이러한 문제를 해결하기 위한 시도라고 소개합니다. 하지만 좋은 설명을 제공하기 위해서는 입력에서 출력까지의 인과 관계를 추적하고, 사용자의 기존 믿음을 바꿀 수 있는 정보를 제시해야 하는데, 현재 기술 수준에서는 이를 일반적인 LLM에 대해 수행하기 어렵다고 평가합니다.

결론적으로 저자들은 좋은 설명을 “반사실적으로 관련된 사실이면서 동시에 청자가 사전에 낮은 확률로 믿고 있던 사실”로 정의합니다. 이러한 관점에서 보면 LLM은 자연어 입력을 명시적인 사실들의 집합으로 표현하지 않고, 입력 공간이 매우 복잡하며, 내부 연산 과정을 사람이 이해할 수 있는 형태로 간결하게 표현하기 어렵기 때문에 특정 출력에 대한 좋은 설명을 제공하는 데 근본적인 한계가 있다고 주장합니다. 다만 이러한 한계가 절대적으로 해결 불가능하다는 의미는 아니며, 앞으로는 이러한 설명의 정의를 바탕으로 LLM의 설명 가능성을 향상시키기 위한 새로운 구조와 방법을 연구할 필요가 있다고 제안합니다.

Green Geek을 구독하시면 지금 보시는 것과 같은 과학기술 소식과 정보를 받아보실 수 있습니다.

주석

1. 추론 (Reasoning): 인공지능이 주어진 정보를 바탕으로 단계를 거쳐 논리적으로 결론을 이끌어내는 능력. 단순히 정답을 암기해서 내놓는 것이 아니라, 문제를 여러 단계로 나누어 차근차근 생각하는 과정을 거쳐 답을 도출하는 것을 뜻함. ↩︎
2. 해석 가능성 (Interpretability): 인공지능이 왜 그런 결과나 판단을 내렸는지, 그 내부 작동 과정을 사람이 이해할 수 있는 형태로 파악할 수 있는 정도. ↩︎
3. 신뢰 가능한 AI (Trustworthy AI): 사람이 안심하고 사용할 수 있을 만큼 안전하고, 공정하고, 설명 가능하며, 예측 가능하게 작동하는 인공지능을 가리키는 개념. 단순히 성능이 좋은 것을 넘어, 사회적으로 믿고 맡길 수 있는지를 함께 고려하는 기준. ↩︎
4. 반사실적 설명 (Counterfactual Explanation): 어떤 결과가 나왔을 때, “만약 이 사실이 없었다면 결과도 달라졌을 것이다”라는 방식으로 원인을 설명하는 방법. 예를 들어 “비가 오지 않았다면 머리가 젖지 않았을 것”이라고 설명하는 것. ↩︎
5. Prior Belief (사전 믿음): 어떤 정보를 듣기 전에 그 사람이 이미 어느 정도 사실이라고 믿고 있던 생각이나 확률. 설명을 들을 때 “새로운 정보”인지 아닌지를 가르는 기준이 됨. ↩︎
6. XOR 구조: 두 가지 조건 중 하나만 참일 때와 둘 다 참이거나 둘 다 거짓일 때 결과가 다르게 나타나는 논리적 구조. 이 글에서는 두 가지 원인이 따로 작용할 때와 함께 작용할 때 결과가 달라지는 상황을 설명하는 데 쓰임. ↩︎
7. Frame Problem (프레임 문제): 어떤 상황을 설명하거나 판단할 때, 관련 있는 정보와 관련 없는 정보를 어디까지 고려해야 할지 정하기 어려운 철학·인공지능 분야의 오래된 난제. ↩︎
8. 고차원 벡터 (High-dimensional Vector): 컴퓨터가 문자나 개념 같은 정보를 숫자들의 긴 목록(배열) 형태로 표현한 것. 언어모델은 문장을 이런 숫자 형태로 바꿔서 계산을 수행함. ↩︎
9. 토큰 (Token): 인공지능 언어모델이 문장을 처리할 때 문장을 잘게 쪼갠 최소 단위. 단어 전체일 수도 있고, 단어의 일부(음절이나 글자 조합)일 수도 있음. ↩︎
10. Sparse Autoencoder (스파스 오토인코더): 인공지능 모델 내부의 복잡한 정보를, 사람이 이해하기 쉬운 소수의 의미 있는 특징들로 압축해서 보여주려는 해석 기법. ↩︎
11. Transformer Circuits (트랜스포머 회로): 최신 언어모델(트랜스포머 구조)의 내부에서 정보가 어떤 경로로 흘러가고 처리되는지를 회로처럼 추적해서 분석하는 연구 방법. ↩︎
12. Causal Intervention (인과적 개입): 인공지능 모델의 특정 내부 값을 인위적으로 바꿔보면서, 그 변화가 최종 결과에 어떤 영향을 미치는지 실험적으로 확인하는 방법. ↩︎