앞서 살펴본 차분 프라이버시 기술은 AI 알고리즘이 학습하는 데이터에 대한 개인 정보 보호 수준을 정량화하고 “개별 환자의 특정 병력” 같은 민감한 정보를 기억하지 않도록 AI 모델을 학습시킴으로써 AI 분야에서 필요로 하는 프라이버시 보호를 제공할 수 있습니다.

​

왜 개인정보를 보호하는 AI 알고리즘이 필요할까?

AI 알고리즘은 많은 데이터를 학습하여 매개변수를 업데이트함으로써 해당 데이터의 관계를 해석합니다. 이상적으로는 이러한 기계 학습 모델이 특정 데이터에 대한 사실(예: “환자 A는 심장병이 있습니다.”)보다는 전반적인 패턴(예:”흡연자는 심장 질환에 걸리기 쉽다”)을 학습하길 원합니다. 그러나 안타깝게도 AI 알고리즘은 이러한 특정 개인의 데이터를 무시하는 방법으로 모델을 학습하지 않습니다. 따라서 암 진단 모델 같은 작업을 해결하기 위한 AI 모델을 배포하면 학습에 사용된 데이터에 대한 정보 역시 공개될 수도 있고, 악의적인 공격자는 게시된 모델의 예측을 통해 특정인에 대한 정보를 알아낼 수 있습니다. 예를 들어, 공격자는 환자 A의 데이터가 모델 학습에 사용되었는지/아닌지를 알아낼 수도 있고, 때론 환자 A의 학습 데이터 자체를 재구축 할 수도 있습니다. 이는 우리가 AI 모델에 대해 가지는 기대, 즉 학습이 완료되면 학습에 사용된 데이터는 노출되지 않는다는 기대를 저버리는 결과입니다 .​

수년에 걸쳐 연구자들은 AI 알고리즘에서의 개인정보보호를 위한 다양한 접근 방식을 제안해왔습니다 (k-익명성, l-다양성, m-불변성, t-closeness 등). 그러나 이러한 모든 접근 방식은 보조 정보를 사용하여 개인 정보 보호를 침해하는 합성 공격에 취약합니다. 즉, 공격자가 이용할 수 있는 개인에 대한 지식의 범위를 추정하기 어렵기 때문에 프라이버시 보호를 정의하고 보장하기 어렵습니다. 결국 연구자들은 이와 같은 접근 방식 대신 프라이버시의 의미론적 보장을 제공하는 차분 프라이버시 보호 기술을 사실 상의 표준으로 선택했습니다. 앞서 살펴본 바와 같이 차분 프라이버시의 목적은 학습 알고리즘이 특정 개인 데이터의 존재 여부에 관계없이 거의 동일한 학습을 수행하는 것입니다. 즉, 개인 데이터에 의해 학습 알고리즘이 크게 변화하지 않기 때문에 전체 패턴 정보는 알 수 있어도 특정 개인에 대한 정보를 추론하기 어렵게 됩니다. 

차분 개인 정보 보호를 통한 프라이버시를 보호하는 AI 알고리즘 설계

차분 프라이버시는 k-익명성과 같은 이전 접근 방식의 많은 한계를 해결하는 의미론적 프라이버시 개념입니다. 기본 아이디어는 개인 정보 보호를 제공하기 위해 알고리즘 학습 과정의 일부에 무작위성을 더하는 것입니다. ​학습 알고리즘에 무작위성을 도입하는 직관적 이유는 그것이 개인의 기여를 모호하게 하지만 우리가 알고자하는 통계 패턴은 드러내기 때문입니다. 무작위성이 없다면 AI 모델은 다음과 같은 정보를 활용합니다. “이 특정 데이터에 대해 학습 알고리즘은 어떤 매개 변수를 학습합니까?” 알고리즘의 무작위성을 도입한 모델은 대신 다음과 같은 정보를 활용합니다. “이 특정 데이터에 대해 학습 알고리즘이 특정 매개변수를 학습할 확률은 얼마입니까?” 

차분 프라이버시는 훈련용 데이터에서 특정 단일 데이터 레코드가 삽입/삭제/변경됨과 무관하게 매개변수들을 학습할 확률이 거의 동일하게 유지되도록 합니다. 학습 데이터는 단일 개인 데이터(레코드)일 수도 있고 개인이 제공한 모든 훈련 데이터 집합일 수도 있습니다. 전자를 레코드 수준 프라이버시 보호라고 하고, 후자를 사용자 수준 프라이버시 보호라고 합니다. 사용자 수준 프라이버시 보호는 더 강력한 의미를 제공하지만 더 어려울 수 있습니다. ​

딥 러닝 모델 훈련을 위한 개인정보보호 알고리즘

딥러닝에서의 표준으로 여겨지는 차분 프라이버시 적용은 차분 프라이버시 확률적 경사하강법(DP-SGD)으로 입니다. 이는 딥러닝에 사용되는 가장 일반적인 최적화 프로그램인 확률적 경사하강법(SGD)으로 계산된 모델 업데이트에 차분 프라이버시를 적용하는 것입니다. 일반적으로 SGD는 반복적으로 학습되며 각 반복에서 소수의 훈련 데이터(“미니배치”)는 전체 데이터에서 샘플링 됩니다. 최적화 함수(optimizer)는 미니배치 데이터로부터 평균 모델 오류를 계산한 다음 각 모델 매개변수에 대해 이 평균 오류를 차분하여 그래디언트 벡터를 얻습니다. 마지막으로 모델 매개변수는 이 그래디언트에 학습률을 곱한 값으로 얻어집니다. DP-SGD는 차분 프라이버시를 얻기 위해 일반적 SGD에 다음의 두 가지를 수정합니다. 1. 미니배치에 대한 평균이 아닌 각 데이터별로 계산되는 기울기를 사용해 민감도를 계산합니다. 2.  계산한 민감도를 기반으로 차분 프라이버시 제공을 위한 Gaussain noise를 모델 패러미터나 그래디언트 벡터에 더합니다.

차분 프라이버시가 적용된 기계학습의 실제적 배포

차분 프라이버시를 제공하는 기계학습은 여러 오픈 소스 구현이 있습니다. 예를 들어 DP-SGD는 TensorFlow Privacy, Objax 및 Opacus에서 구현됩니다. 이는 기계 학습 모델 교육을 위해 기존 TensorFlow, JAX 또는 PyTorch를 사용하면서도 DP-SGD를 적용할 수 있음을 의미합니다. PATE 구현 예시는 TensorFlow Privacy에서도 사용할 수 있습니다. 그렇다면 차등 개인 정보 보호를 갖춘 머신 러닝을 배포하는 데 있어 구체적인 잠재적 장애물은 무엇일까요?

첫 번째 장애물은 개인 정보 보호 모델의 정확성입니다. 훈련 데이터는 분포의 말단(분포의 tail 부분)에서 샘플링되는 경우가 많습니다. 예를 들어, 의료 응용 분야에서는 일반적으로 (다행히도) 해당 질병이 없는 환자보다 특정 질병을 가진 환자가 더 적습니다. 이는 각 의학적 상태를 가진 환자에 대한 훈련 사례가 적다는 것을 의미합니다. 차분 프라이버시는 훈련 데이터 전체에서 특이한 패턴(=아웃라이어)을 학습하는 것을 방지하기 때문에 발생 사례가 거의 없는 환자 데이터로부터의 학습 능력이 제한됩니다. 즉, 모델의 정확성과 모델이 훈련된 차분 프라이버시 보호간의 상충 관계가 존재합니다

두 번째 장애물은 프라이버시 보호 수준의 선택입니다. ‘충분한’ 개인정보보호 수준을 어떻게 정해야할까요? 이에 대한 기준은 사람마다 다릅니다. 차분 프라이버시의 프라이버시 보호 수준을 평가하는 한 방법으로 최근 들어 시도되는 것은  직접 공격자가 되어 추론 공격을 시도하는 것입니다. 물론 이런 방법이 이론적 보증을 대체할 수는 없지만 프라이버시 보호 수준의 해석에는 도움이 됩니다. 최근 들어 이러한 공격의 오픈 소스 구현이 점점 더 많이 제공되고 있는 것도 고무적인 일입니다. 

결론

지금까지 3번에 걸쳐 차분 프라이버시를 비롯한 프라이버시 보호 기술들을 살펴보았습니다. AI 기술의 발전과 함께 개인 데이터를 활용하는 사례가 증가하면서 프라이버시 보호는 필수적인 요소로 자리 잡고 있습니다. 특히, 차분 프라이버시와 같은 기술은 학습 과정에서 개인 정보를 보호하면서도 유의미한 패턴을 추출할 수 있도록 설계되어 AI 모델의 신뢰성을 높이는 데 기여합니다. 그러나 이러한 기술의 적용에는 정확성과 프라이버시 보호 수준 간의 상충 관계와 같은 도전 과제가 존재합니다. 기술적 발전뿐만 아니라, 데이터 생산자인 우리 모두가 프라이버시 문제에 대해 이해하고 지속적으로 논의하며, 보다 안전하고 신뢰할 수 있는 AI 생태계를 구축하는 데 함께 노력해야 할 것입니다.

Green Geek을 구독하시면 지금 보시는 것과 같은 ICT 소식과 정보를 받아보실 수 있습니다.