녹색당 과학기술위원회 이준태

※ 본 뉴스레터 글은 저자의 보고서 챕터 <자율무기체계의 현황과 쟁점>¹의 내용을 토대로 재작성한 것입니다.

전쟁이나 무기산업에 관심이 없는 일반 독자들도 이제는 ‘자율무기체계’라는 말을 한 번쯤은 들어보셨을 것 같습니다. 자율살상무기 혹은 킬러 로봇으로 기억하실 수도 있겠습니다. 요즘 AI가 물리적으로 인간을 공격하거나 인류에게 위협이 될 수 있다는 AI 업계 전문가들의 경고가 증가하며 더 주목받는 것 같습니다.

최근 오픈에이아이(OpenAI)와 앤트로픽(Anthropic)에서 연구원으로 일했던 제이콥 콕슨이 두 회사 모두 AI 안전에 대한 제대로 된 책임을 지지 않고 있다며 공개서한을 올리고 앤트로픽에서 퇴사한 것이 화제가 됐습니다. 그는 내년 말이면 인간이 통제할 수 없는 상황이 발생할 수 있다며, 많은 AI 개발자가 10년 안에 인류를 절멸할 수 있을 것이라 믿는다고 관심을 촉구했습니다.² 또한 앤트로픽과 오픈에이아이의 최고경영자인 다리오 아모데이와 샘 올트먼까지 나서서 AI가 인류를 위협할 수 있다고 말하고 있습니다.³

여기에는 초지능(Superintelligence)을 통해 AI 모델이 자가 발전하게 되고 그로 인해 인간이 예측할 수 없는 수준으로 AI 모델이 발전해 인간을 공격할 수 있다는 우려가 깔려있습니다. 현실에서 이를 가능하게 하는 것은 피지컬 AI, 그리고 그 중 무기로 개발된 자율무기체계를 통해서일 것입니다.

이번 뉴스레터에서 가까운 미래에 AI가 인류를 모두 살해할지에 대한 답을 내릴 수는 없겠지만 자율무기체계는 무엇인지, 어떤 위협이 있는지, 자율무기체계를 둘러싼 법적, 윤리적 쟁점은 무엇이 있는지 등을 살펴보며 그 위험을 살펴보고자 합니다.

자율무기체계란?

자율무기체계와 관련한 문헌을 살펴보면 자율무기체계에 대한 국제적으로 공인된 명칭과 정의가 존재하지 않는다는 것을 알 수 있습니다.⁴ 일반적으로는 자율살상무기체계(lethal autonomous weapons systems, ‘LAWS’), 완전자율무기(fully autonomous weapons), 살인로봇(killer robots), 살인드론(killer drones) 등으로 다양하게 불리고 있습니다. 여기에서는 자율무기체계(autonomous weapons systems, AWS)로 통일해서 부르고자 합니다.

무엇보다 대상을 ‘살상’ 무기로 한정하지 않는 이유는 이 용어가 오해의 소지가 많기 때문입니다. ‘살상’ 무기라는 명칭을 사용하는 경우 대공(anti-aircraft), 대미사일(anti-missile) 등 공격용이 아닌 방어용 무기는 배제하게 되고, 방어 무기들이 마치 ‘살상’을 하지 않는다는 착각을 일으키기 쉽습니다.⁵ 그래서 SIPRI 보고서는 “치명성은 무기 체계가 어떻게 사용되느냐에 달린 것이지 어떻게 설계됐느냐에 달린 것이 아니다”⁶ 라고 경고합니다.

그렇다면 자율무기체계는 어떻게 정의할 수 있을까요? 언급한 것처럼 자율무기체계의 정의도 명확하게 합의된 것은 없으나 관련된 보고서를 종합하면, 자율무기체계란 인공지능(AI) 및 알고리즘 기반의 기술 도입으로 일단 활성화되면 정보를 획득, 평가하고 표적을 선택, 추적, 공격하는 과정⁷의 일정 부분 혹은 전체를 자율적으로 수행할 수 있는 무기 체계라고 할 수 있습니다. 여기서 AI 및 알고리즘 기반의 기술이 주요 역할을 한다는 점이 중요합니다. 혹자는 대인지뢰나 기존의 유도미사일도 매설 및 발사된 이후에 자율적으로 특정 상황에서 격발 혹은 폭발할 수 있으므로 정의상 자율무기체계에 포함될 수 있다고 말하기 때문입니다. 즉 자율무기체계는 AI 기술을 통해 자동화 및 자율화가 고도로 발전하여 일정한 규칙하에서 스스로 판단하여 자율적으로 군사 행위를 실행하는 무기 체계인 것입니다. 기존의 로봇에 LLM 등 AI 기술을 도입하여 ‘피지컬 AI’라는 이름이 붙는 것과 비슷하다고 볼 수 있죠.

자율무기체계의 종류

AI 모델이나 LLM도 다 같지가 않은 것처럼 자율무기체계도 몇 단계로 분류할 수 있습니다. 보통은 자율화의 정도와 인간의 개입 정도에 따라 세 단계로 분류합니다.

가장 자율화가 낮은 단계는 인간의 명령을 통해서만 표적을 선택하고 공격하는 무기로 인간이 의사결정 과정에 명확히 포함된다고 해서 휴먼인더루프(Human-in-the-Loop) 무기로 부릅니다. 다음 단계는 인간의 감독하에 스스로 표적을 선택하고 공격할 수 있으나 인간 운영자가 로봇의 행동을 중단시킬 수 있는 상태로 휴먼온더루프(Human-on-the-Loop) 무기라고 부릅니다. 즉 반자율적 무기체계라고 할 수 있습니다. 가장 자율성이 높은 완전자율무기체계는 휴먼아웃오브더루프(Human-out-of-the-Loop) 무기로 인간이 AI와 알고리즘에 따라 명령 값만 입력해 놓으면 인간으로부터 완전히 자율적으로 작동하는 체계입니다. 이를 조금 더 보기 쉽게 정리하면 아래와 같습니다.⁸

앞서 자율무기체계의 정의에 대한 국제사회의 명시적 합의가 없다고 말씀드렸는데요. 명확한 합의가 안 되는 부분은 위 단계 중 어디까지를 자율무기체계로 볼지에 대한 부분에도 해당합니다. 자율무기체계에 대한 엄격한 규제를 반대하는 입장(강대국과 주요 무기기업들)에서는 실제로 휴먼아웃오브더루프 무기(완전자율무기체계) 이외에는 자율무기체계로 간주해선 안 된다는 입장입니다. 그러나 이 셋의 완전한 구분은 어렵습니다.

예컨대, 휴먼인더루프라고 분류되는 방어무기 체계에서도 날아오는 미사일을 탐지해서 요격할 것인지, 말 것인지를 인간에게 물어보지만, 실질적으로 인간이 요격을 취소할지를 판단할 시간이 불과 수 초에서 수십 초밖에 되지 않는다면 그것을 인간의 통제 속에 이루어진 결정으로 보기 어렵기 때문이죠. 관련 연구자들과 활동가들은 이런 상황을 가리켜 “유의미한 인간 통제(meaningful human control)”가 제대로 작동하지 않은 상황이라고 부릅니다. 그런 의미에서 자율무기체계의 규제와 관련해서 어디까지를 규제의 대상으로 볼지도 쟁점 중 하나라고 할 수 있습니다.

“유의미한 인간 통제”의 필요성

그렇다면 자율무기체계로 분류될 수 있는 무기의 개발과 사용은 어떤 경우에 허용되고 어떤 경우에 금지돼야 할까요?

말씀드린 것처럼 자율무기체계의 규제를 추진하는 시민사회와 전문가들은 위의 분류와 상관없이 “유의미한 인간 통제(meaningful human control)”가 제대로 작동하지 않거나 인간이 거의 개입하지 않는다면 실질적으로 완전자율무기체계(휴먼아웃오브더루프 무기)와 구분하기 어려우므로 금지돼야한다고 말합니다. 앞서 말한 것처럼 실제 무기의 운용 과정에서는 운용자가 AI가 분석한 자료를 토대로 공격 여부 및 AI의 공격 결정 판단을 무효화하는 결정을 내리는 데 주어진 시간이 짧게는 0.5초에서 수십 초밖에 주어지지 않는 것이 현실입니다. 이런 상황을 인간이 실질적인 통제권을 갖고 있는 것으로 보기 어려운 것이죠.

그렇다면 다시 “유의미한 인간 통제”라는 것은 정확히 무슨 의미인지에 대해서 정의할 필요가 있습니다. 이에 대한 해석도 다양하긴 하지만, ‘인간이 자율무기체계의 공격의 영향을 실질적으로 결정하고 그 효과를 예측할 수 있으며, 그 효과가 해당 운용자의 목적에 부합한다는 것을 보증할 수 있는 상태’ 정도로 정의할 수 있습니다. 그리고 그러기 위해선 아래와 같은 요소들이 지켜져야 한다고 보고 있습니다.

• “의사결정(Decision-making) 요소”: 인간 운용자는 의사결정을 위한 무기체계의 작동 방식과 운용환경을 명확히 이해하며 의사결정을 위한 충분한 검토 시간을 가져야 함.
• “기술(Technological) 요소”: 인간 운용자에게 공격의 효과에 대한 예측 가능성이 보장되며, 실질적인 감독, 적시의 개입과 비활성화가 가능해야함.
• “운용(Operational) 요소”: 표적 유형, 사용 시간·장소·상황·범위 등의 운용 요소에 대한 통제가 가능해야 함(예컨대 민간인과 민간 표적이 있을 수 있는 시간과 공간적 범위에서 운용을 금지).

참고로 국제 연대를 통해 결성된 “살인로봇금지(Stop Killer Robots) 캠페인” 등과 같은 시민사회에서는 구속력 있는 조약을 통해 금지하고자 하는 대상을 ①인간을 표적으로 삼는 자율무기체계, 혹은 ②“유의미한 인간 통제”를 벗어난 자율무기체계로 규정하고 있습니다.⁹

강조해야 할 것은 금지해야 할 자율무기체계 대상을 둘의 교집합이 아니라 둘 중 하나에 해당하는(“혹은”) 자율무기체계로 명확히 한다는 점입니다. 즉 여기에는 인간을 표적으로 삼을 수 있는 방어용·공격용, 살상용·비살상용 무기(①)나 인간을 표적으로 삼지 않더라도 위의 주요 요소들이 지켜지지 않는, 즉 유의미한 인간 통제가 이뤄지지 않는 무기(②) 모두가 해당한다는 의미입니다.(둘 모두에 해당한다면 당연히 금지해야겠고요.) 참고로 인간을 표적으로 삼지 않는 무기라는 것은 아이언돔(Iron Dome)이나 한국에도 배치된 사드(종말단계고고도지역방어체계, THAAD)처럼 미사일을 요격하는 것이 주목적인 무기도 포함될 수 있다는 의미입니다. 서두에 말씀드린 것처럼 그런 의미에서 자율무기체계의 위험을 제대로 막기 위해서는 금지해야 하는 범주가 ‘완전자율살상무기체계’만으로 한정되어서는 안 된다는 것을 알 수 있습니다.

자율무기체계의 종류

그렇다면 대표적으로 어떤 자율무기체계들이 있는지 간단히 살펴보도록 하겠습니다. 최근 AI 가속주의와 함께 킬러 로봇이나 킬러 드론에 대해 처음 들어보신 분들은 이런 무기들이 이제 최근에 와서야 개발되고 있는 것으로 생각하기 쉬울 것 같습니다. 그러나 우리가 생각하는 것보다 자율무기체계는 이미 상당 부분 상용화되어 있습니다. 특히나 방어용 무기의 경우 이미 거의 완전자율무기체계에 가까운 무기들이 보편화돼있다고 할 수 있습니다. 예컨대 앞서 언급한 이스라엘의 아이언돔이나 한국에도 배치된 미국의 사드와 같은 지역 방어 무기 체계는 거의 완전하게 자율적으로 운영되고 있거나 인간의 개입이 큰 의미를 발휘하지 못하는 자율무기체계라고 할 수 있습니다.

한편, 한반도의 DMZ에서도 오래전부터 자율무기체계가 배치돼있었다고 하면 놀라는 분들이 많을 것 같습니다. 한화 에어로스페이스의 전신인 삼성테크윈이 이미 20여 년 전에 개발하고 DMZ에 배치된 SGR-1 같은 초소 로봇도 적을 식별하고 스스로 결정을 내려 공격하는 것이 가능하므로 완전자율무기체계라는 평을 듣습니다(실전에서는 자동 모드를 사용하지 않는다고 알려져 있습니다).¹⁰ 이스라엘도 가자지구 경계(border)에 기관총을 장착한 라파엘(Rafael)사의 무인 초소 경비 시스템인 센트리 테크(Sentry Tech)와 순찰로봇인 가디움(Guardium) 등을 배치했는데, 이들도 인간의 통제를 받고 있다고는 하지만 자율 임무 수행이 가능한 것으로 알려져 있습니다.

공격용 무인차량(unmanned vehicle) 중에는 무인항공기(UAV 혹은 드론)의 도입이 가장 빠릅니다. 드론이 가장 빠르게 개발된 데에는 이유가 있습니다. 지상이나 해상의 무인차량보다 공중에서 운용되는 드론의 특성상 장애물과 같은 변수가 가장 적기 때문입니다. 특히 2020년 3월 리비아 내전 과정에서 리비아 정부군이 트리폴리 인근 사막에서 분쟁 중이던 리비아 국민군을 상대로 공격용 드론인 카구-2(Kargu-2)를 활용했는데, 이 사건은 처음으로 공격용 자율무기체계가 실전에서 인명을 살상하는 데 사용된 사례로 알려져 있습니다.¹¹ 또한 드론 중 또 다른 형태로는 자폭 드론(loitering munitions)이 있습니다. 표적 주변 상공을 배회하다가 자폭 공격을 수행하는 드론으로, 드론과 순항 미사일의 특성을 모두 가진 것이 특징입니다. 이스라엘 IAI사의 하피(Harpy)와 하롭(Harop) 같은 모델이 대표적이며, 하피 같은 드론은 파이어앤포겟(fire-and-forget)¹² 기능을 갖추고 지정된 선회 지역으로 날아가 자율비행을 하며 사전 프로그래밍된 정보와 비교해 레이더를 방출하는 목표물을 자율적으로 설정해 공격하는데, 9시간까지 선회 비행하는 것이 가능하다고 알려져 있습니다.¹³

드론의 소형화 수준도 높아지고 있습니다. 아직 양산되진 않았지만 미국 무기 스타트업 기업(XDOWN)의 P.S. 킬러(Killer, PSK) 자폭 드론은 자율무기체계의 새로운 수준을 보여주는데요. 럭비공과 같이 생긴 형태의 드론을 던지기만 하면 2초 안에 활성화가 되어 64㎞ 반경 범위 내에서 시속 250㎞의 속도로 인간의 개입 없이 입력된 표적을 찾아 타격한다고 합니다.¹⁴

한편, 무인지상차량의 상용화는 최근에야 이뤄지고 있습니다. 대표적인 자율차량으로는 한화에어로스페이스의 아리온스멧(Arion-SMET)이 있습니다. 자율 오프로드 주행과 AI 기반 딥 뉴럴 네트워크(DNN) 기술로 자율적으로 적군 병력을 탐지·추적하고, 총격을 감지·분석하여 반격 사격하는 기능 등을 가지고 있다고 하는데요.¹⁵ 2024년 미 육군의 다목적 무인 차량 사업의 최종 후보로 오를 정도로 기술 수준이 높은 것으로 알려져 있습니다.¹⁶ 이에 더해 무인수상정이나 무인잠수정 등 무인수중차량도 빠르게 개발이 이루어지고 있습니다.

이번 글에서는 자율무기체계가 무엇인지를 중심으로 관련 개념을 소개해 드리는 데에 집중했는데요. 다음 편에서는 자율무기체계를 둘러싼 법적·윤리적 쟁점은 무엇인지, 국제사회에서의 규제 논의, 그리고 한국 정부의 태도는 어떤지를 살펴보도록 하겠습니다.

Green Geek을 구독하시면 지금 보시는 것과 같은 과학기술 소식과 정보를 받아보실 수 있습니다.

주석

1. 이준태, “6장 자율무기체계의 현황과 쟁점”, 『무기거래의 문제와 무기박람회』, 전쟁없는세상 기획, 2025. (https://withoutwar.org/?avada_portfolio=무기거래의-문제와-무기박람회) ↩︎
2. <한겨레> 2026. 9. 9., ““AI가 10년 내 모두 죽일 수도” 앤트로픽 연구원 퇴사하며 경고” (https://www.hani.co.kr/arti/international/international_general/1276990.html) ↩︎
3. <뉴시스> 2026. 9. 24., “올트먼·아모데이, 유엔서 AI 국제공조 촉구…트럼프는 “규제 반대”” (https://www.newsis.com/view/NISX20260924_0003802791) ↩︎
4. Boulanin, V., L. Bruun and N. Goussac. 2021, “Autonomous Weapon Systems and International Humanitarian Law”, SIPRI (Stockholm International Peace Research Institute), June 2, p.2. ↩︎
5. 또한 한국의 사드 배치 논란을 통해서 알 수 있는 것처럼 방어무기가 가장 공격적 위협이 되며 군비경쟁을 부추기는 기제로 작동하기도 합니다. ↩︎
6. Boulanin et al., p.2 ↩︎
7. 관찰(observation), 판단(orientation), 결정(decision), 행동(action)이라는 군사적 의사결정의 네 가지 단계로 보이드 주기(Boyd’s Cycle) 혹은 OODA루프라고 부른다. 유준구 2019, <자율살상무기체계의 논의 동향과 쟁점>, 국립외교원 외교안보연구소. 9-10쪽. ↩︎
8. 김현중 2024, “넥스트 오펜하이머 시대: 자율살상무기 발전에 따른 예상쟁점 및 대응방안”, <INSS 전략보고>, 284, 11쪽의 표에서 일부 수정. ↩︎
9. Stop Killer Robots 2021a. “Recommendations on the Normative and Operational Framework for Autonomous Weapon Systems.” June. (https://www.stopkillerrobots.org/wp-content/uploads/2021/09/CSKR_Normative-and-Operational-Framework-Written-Commentary.pdf) ↩︎
10. Human Rights Watch (HRW) and The International Human Rights Clinic (IHRC) 2012, Losing Humanity: The Case against Killer Robots, Human Rights Watch, November, pp.13-15. ↩︎
11. International Committee of the Red Cross (ICRC), “Libya, The Use of Lethal Autonomous Weapon Systems. How does law protect in war?”, Online Casebook. (https://casebook.icrc.org/case-study/libya-use-lethal-autonomous-weapon-systems) ↩︎
12. 가장 최신 미사일 유도 방식으로 인간은 발사 버튼만 누르면 이후 유도를 하지 않아도 미사일이 상황 변화에 맞춰 자동으로 표적을 찾아가 명중하는 방식이다. ↩︎
13. Automated Decision Research (ADR), “Weapons systems”. (https://automatedresearch.org/weapons-systems/) ↩︎
14. Kyiv Post, “Grab – Switch On – Throw! New US Hand-Launched Kamikaze Drone”, January 31, 2025. (https://www.kyivpost.com/post/46304) ↩︎
15. 한화그룹 2024. 7. 3., “AI 기반으로 공격부터 주행까지, 전장의 게임체인저 아리온스멧”. (https://www.hanwha.co.kr/newsroom/media_center/news/article.do?seq=13574) ↩︎
16. Breaking Defense, “Rheinmetall, HDT win Army S-MET Increment II downselect” September 24, 2024. (https://breakingdefense.com/2024/09/rheinmetall-hdt-win-army-s-met-increment-ii-downselect/) ↩︎