[논문]딥러닝 컴퓨터 비전 시스템에 대한 최신 광학 기반 물리적 적대적 공격

최신 광학 기반 물리적 적대적 공격 이미지

논문 제목: State-of-the-art optical-based physical adversarial attacks for deep learning computer vision systems

인공지능과 딥러닝 기술의 급속한 발전으로 컴퓨터 비전 시스템은 우리 일상생활의 많은 영역에 깊이 스며들고 있습니다. 얼굴 인식, 자율 주행, 의료 영상 분석 등 다양한 분야에서 이 기술은 혁명적인 변화를 가져오고 있습니다. 그러나 이러한 발전과 함께 새로운 보안 위협이 등장했습니다. 바로 '적대적 공격(Adversarial Attack)'입니다. 적대적 공격은 인간의 눈에는 거의 감지되지 않는 미세한 변화를 입력 데이터에 추가하여 딥러닝 모델을 속이는 기술입니다. 이는 단순한 학문적 호기심을 넘어 실제 세계에서 심각한 위험을 초래할 수 있습니다. 예를 들어, 자율주행차의 교통 표지판 인식 시스템을 속여 사고를 유발하거나, 보안 시스템의 얼굴 인식을 우회하여 무단 접근을 할 수 있습니다.

이 글에서는 최근 주목받고 있는 '광학 기반 물리적 적대적 공격' 기술에 대해 심층적으로 알아보고자 합니다. 이 공격 방식은 실제 물리적 환경에서 광학적 수단을 통해 컴퓨터 비전 시스템을 속이는 방법으로, 디지털 영역에서의 공격보다 현실 세계에서 더 큰 위협이 될 수 있습니다. 우리는 이 기술의 작동 원리, 다양한 구현 방식, 그리고 잠재적 영향에 대해 탐구할 것입니다. 또한, 이러한 공격에 대한 이해가 왜 중요한지, 그리고 이를 통해 어떻게 더 안전하고 강건한 AI 시스템을 개발할 수 있는지에 대해서도 논의할 것입니다. 광학 기반 물리적 적대적 공격 연구는 AI 시스템의 취약점을 이해하고 개선하는 데 중요한 통찰을 제공하며, 궁극적으로 더 신뢰할 수 있는 AI 기술 발전에 기여할 수 있습니다.

초록 (Abstract): 광학 기반 물리적 적대적 공격의 부상

적대적 공격은 인간의 눈에는 감지되지 않는 작은 변화를 원본 입력에 추가하여 딥러닝 모델을 오류로 이끄는 기술입니다. 이는 딥러닝 기반 컴퓨터 비전 시스템에 큰 보안 위협이 됩니다. 물리적 적대적 공격은 디지털 적대적 공격에 비해 더 현실적인 위협으로, 입력이 비전 시스템에 의해 캡처되고 이진 이미지로 변환되기 전에 변조를 가합니다. 본 논문에서는 물리적 적대적 공격에 초점을 맞추며, 이를 침습적 공격과 비침습적 공격으로 분류합니다. 광학 기반 물리적 적대적 공격 기술(예: 빛 조사 사용)은 비침습적 범주에 속합니다. 이러한 공격은 실제 환경에서 자연스럽게 발생하는 효과와 매우 유사하기 때문에 인간에 의해 쉽게 무시될 수 있습니다. 따라서 높은 불가시성과 실행 가능성을 가지며 실제 시스템에 중대하거나 치명적인 위협을 가할 수 있습니다. 이 논문은 컴퓨터 비전 시스템에 대한 광학 기반 물리적 적대적 공격 기술에 초점을 맞추고, 이러한 기술의 소개와 논의에 중점을 둡니다.

소개: 컴퓨터 비전 시스템의 취약성

컴퓨터 비전은 컴퓨터가 2차원 이미지를 통해 3차원 환경 정보를 인식할 수 있도록 하는 인공지능의 중요한 분야입니다. 최근 딥러닝 기술의 급속한 발전으로 딥 뉴럴 네트워크(DNNs) 기반의 컴퓨터 비전 기술이 빠르게 진보하여 얼굴 인식, 자율 주행, 지능형 제조, 생물의학 등 다양한 분야에 널리 응용되고 있습니다. 그러나 DNNs는 알고리즘의 블랙박스 특성으로 인한 설명 불가능성과 같은 고유한 문제를 가지고 있습니다. 이로 인해 DNNs 기반 컴퓨터 비전 기술에 일부 보안 허점이 존재하며, 악의적인 공격자들이 이를 이용해 적대적 공격을 시도할 수 있습니다. 적대적 공격은 원본 입력에 작은 변조를 가하여 분류기가 잘못된 예측을 하도록 유도합니다. 이러한 작은 변조는 인간의 눈에는 감지되지 않지만, 분류기가 높은 신뢰도로 잘못된 예측을 하게 만들 수 있습니다. 예를 들어, 교통 표지판 인식 시스템에 대한 적대적 공격은 자율주행 자동차가 교통 표지판을 잘못 분류하게 하여 자율주행 시스템이 잘못된 제어 명령을 내리게 할 수 있습니다. 이는 교통사고를 유발하고 운전자와 승객의 안전을 위협할 수 있습니다.

사용된 기술 1: 디지털 vs 물리적 적대적 공격

적대적 공격은 크게 디지털 적대적 공격과 물리적 적대적 공격으로 나눌 수 있습니다:

1. 디지털 적대적 공격:
   • 공격자가 픽셀 수준에서 직접 입력 이진 이미지를 조작합니다.
   • 디지털 이미지 데이터에 직접 접근/수정이 필요하여 실제 세계에서 실현 가능성이 낮습니다.
   • 컴퓨터 비전 시스템에 실질적인 위협을 가하기 어렵습니다.
2. 물리적 적대적 공격:
   • 컴퓨터 비전 시스템이 이미지를 캡처하고 이진 이미지로 변환하기 전에 물리적으로 변조를 가합니다.
   • 예: 실제 도로 표지판에 마커로 그림을 그리는 것
   • 변조의 인식을 직접 제어할 수 없어 디지털 적대적 공격만큼 효과적이지 않을 수 있습니다.
   • 그러나 실제 세계에서 구현 가능하며 실제 시스템에 중대하거나 치명적인 영향을 미칠 수 있습니다.

물리적 적대적 공격은 실제 세계에서의 적용 가능성으로 인해 최근 몇 년간 더 많은 관심과 연구를 받고 있습니다.

사용된 기술 2: 광학 기반 물리적 적대적 공격

컴퓨터 비전 시스템의 수신 장치(예: 카메라)는 본질적으로 광전 센서이기 때문에, 광학적 간섭이 시스템에 중대한 영향을 미칠 수 있습니다. 예를 들어, Tesla Model S의 첫 번째 자율주행 사망 사고는 밝은 하늘을 배경으로 한 흰색 트레일러를 자동차와 운전자 모두 인식하지 못해 발생했습니다. 광학적광학적 수단을 기반으로 하는 물리적 적대적 공격 방법은 최근 몇 년간 인기 있는 연구 방향이 되었습니다. 이러한 공격은 크게 두 가지 범주로 나눌 수 있습니다:

1. 빛 조사 기반 공격:
   • 발광 장치를 사용하여 광학적 변조를 생성합니다.
   • 예: 레이저 빔, 네온 빔, 그림자 등을 이용한 공격
   • 장점: 자연환경에서 발생하는 효과와 유사하여 인간의 주의를 덜 끌 수 있습니다.
2. 이미징 장치 조작 기반 공격:
   • 카메라나 프로젝터와 같은 광학 이미징 장치를 물리적으로 조작합니다.
   • 예: 카메라 렌즈에 스티커 부착, 롤링 셔터 효과 이용, 줌 렌즈 조작 등
   • 장점: 배포가 간단하지만, 원본 이미지의 질감과 크기에 감지 가능한 변화를 줄 수 있습니다.

이러한 광학 기반 물리적 적대적 공격은 높은 불가시성과 실행 가능성을 가지며, 실제 시스템에 중대한 위협을 가할 수 있습니다.

사용된 기술 3: LED 조명 변조 기반 공격

Chen et al.은 LED 조명 변조를 기반으로 한 새로운 공격 방식을 제안했습니다. 이 방법은 실제 세계에서 인간의 눈에 감지되지 않는 변조를 생성할 뿐만 아니라 실험 설정도 간단합니다. 이이 공격 방식의 주요 특징은 다음과 같습니다:

1. 인간의 눈에 감지되지 않는 변조: LED 조명의 빠른 점멸은 인간의 눈으로 관찰할 수 있는 한계를 넘어서기 때문에 감지되지 않습니다.
2. 카메라에 의한 변조 포착: CMOS 카메라의 롤링 셔터 효과와 변조된 LED 조명의 상호 작용으로 인해 카메라로 촬영된 적대적 예제에는 많은 수의 검은 줄무늬가 포함됩니다.
3. 두 가지 실용적인 공격 방법:
   • DoS(Denial-of-Service) 공격: LED의 점멸 주파수를 낮춰 넓은 검은 줄무늬를 생성합니다. 이는 중요한 얼굴 특징을 완전히 가려 얼굴 인식 시스템을 마비시킬 수 있습니다.
   • 회피 공격: LED의 점멸 주파수를 높여 더 좁은 검은 줄무늬를 생성합니다. 이는 많은 반복적이고 쓸모없는 그래디언트 정보를 추가하고 많은 미세한 얼굴 특징을 가려, 결국 얼굴 인식 시스템이 두 개의 다른 얼굴을 같은 사람으로 판단하게 만들 수 있습니다.

이 방법은 실제 세계에서 인간의 눈에 감지되지 않는 변조를 생성하면서도 실험 설정이 간단하다는 장점이 있습니다.

필요한 공식에 대한 설명

물리적 적대적 공격의 수학적 모델은 다음과 같이 표현될 수 있습니다: M(Ĩ) → l̃ s.t. l̃ ≠ l, Ĩ ∈ SI, M(I ∼ {SI - Ĩ}) = l

 

• M(.)은 대상 모델, I는 원본 이미지, l은 대상 모델의 출력
• Ĩ = I + p는 적대적 예제 (p는 변조), SI는 디지털 및 물리적 적대적 예제의 집합

이 모델은 적대적 공격이 원본 이미지에 변조를 가하여 모델이 잘못된 예측을 하도록 만드는 과정을 설명합니다.

결론: 광학 기반 물리적 적대적 공격의 미래

광학 기반 물리적 적대적 공격 기술은 컴퓨터 비전 시스템에 대한 현실적이고 심각한 위협을 제기합니다. 이러한 공격은 높은 불가시성과 실행 가능성을 가지며, 실제 시스템에 중대하거나 치명적인 영향을 미칠 수 있습니다.

현재의 물리적 적대적 공격에는 몇 가지 어려움이 있습니다:

1. 작은 변조를 심을 경우, 카메라의 물리적 특성으로 인해 쉽게 무시될 수 있습니다.
2. 큰 변조를 심을 경우, 인간에 의해 쉽게 감지될 수 있습니다.
3. 변조를 생성하는 실험 설정을 시뮬레이션하기 어렵습니다.

따라서 완벽한 물리적 적대적 예제는 대상 모델이 높은 신뢰도로 잘못된 예측을 생성하게 할 뿐만 아니라, 변조가 인간의 눈에 완전히 감지되지 않아야 합니다. 본 논문의 분석에 따르면, 현재 광학 장치를 사용한 적대적 공격이 완벽한 물리적 적대적 예제 생성에 가장 가깝습니다.

그러나 이러한 방법들의 대부분은 실험 설정을 배포하기 어렵다는 단점이 있습니다. 따라서 향후 연구 방향으로, 실험 설정이 간단하면서도 인간의 눈에 감지되지 않는 변조를 생성할 수 있는 물리적 적대적 공격 개발이 중요할 것으로 보입니다. 이러한 연구는 DNNs의 내재적 보안 취약점을 사전에 발견하고, 표적화된 방어 솔루션 설계에 영감을 줄 수 있습니다. 이를 통해 AI의 미성숙과 악의적 응용으로 인한 보안 위험을 줄이고, AI 보안을 강화하며, AI의 깊이 있는 응용을 촉진할 수 있을 것입니다. 결론적으로, 광학 기반 물리적 적대적 공격은 컴퓨터 비전 시스템의 보안에 중요한 도전 과제를 제시합니다. 이러한 공격 기술의 발전은 한편으로는 위협이 되지만, 다른 한편으로는 더 강력하고 안전한 AI 시스템 개발을 위한 기회가 될 수 있습니다. 따라서 이 분야의 지속적인 연구와 개발이 필요하며, 이는 컴퓨터 비전 기술의 안전성과 신뢰성 향상에 크게 기여할 것입니다.