[논문]TensorFlow 기반 회전 객체 탐지의 새로운 지평

텐서플로우 기반 회전 객체 탐지

논문 제목: AlphaRotate: A Rotation Detection Benchmark using TensorFlow

컴퓨터 비전 분야에서 객체 탐지는 핵심적인 과제 중 하나입니다. 그러나 대부분의 기존 모델들은 객체의 방향을 고려하지 않고 수평 경계 상자만을 출력합니다. 이는 항공 이미지 분석이나 밀집된 작은 객체 인식 등 실제 응용에서 제한적일 수 있습니다. 이러한 한계를 극복하고자 최근 회전 객체 탐지 기술이 주목받고 있습니다. AlphaRotate는 이러한 회전 객체 탐지 기술의 발전을 반영한 오픈소스 TensorFlow 벤치마크입니다. 18개 이상의 최신 회전 객체 탐지 모델을 단일 API로 제공하여 연구자와 실무자 모두에게 유용한 도구가 될 것입니다. 이 글에서는 AlphaRotate의 주요 특징과 기능을 살펴보고, 회전 객체 탐지 기술의 현주소와 미래를 조망해보고자 합니다.

초록 (Abstract): 회전 객체 탐지의 새 지평을 여는 AlphaRotate

AlphaRotate는 다양한 데이터셋에서 확장 가능한 회전 객체 탐지를 수행하기 위한 오픈소스 TensorFlow 벤치마크입니다. 현재 18개 이상의 인기 있는 회전 객체 탐지 모델을 단일의 잘 문서화된 API로 제공하여 실무자와 연구자 모두가 사용할 수 있도록 설계되었습니다. AlphaRotate는 고성능, 견고성, 지속 가능성 및 확장성을 핵심 설계 개념으로 삼고 있으며, 모든 모델은 단위 테스트, 지속적 통합, 코드 커버리지, 유지 보수성 검사, 시각적 모니터링 및 분석을 통해 관리됩니다. AlphaRotate는 PyPI에서 설치할 수 있으며 Apache-2.0 라이선스로 제공됩니다.

소개: 회전 객체 탐지의 필요성과 AlphaRotate의 등장

컴퓨터 비전 분야에서 객체 탐지는 풍부한 연구 성과를 가진 영역입니다. 그러나 대부분의 기존 모델들은 객체의 방향을 고려하지 않고 수평 경계 상자만을 출력합니다. 이는 실제 응용에서 제한적일 수 있습니다. 특히 항공 관측이나 밀집된 작은 객체 인식 등의 분야에서는 객체의 회전 정보가 중요하거나, 회전된 경계 상자가 객체를 더 정확하게 포착할 수 있기 때문입니다.

이러한 이유로 최근 회전 객체 탐지기가 주목받고 있습니다. 백본 네트워크와 손실 함수 설계 측면에서 발전이 이루어지고 있으며, 항공 이미지, 장면 텍스트, 얼굴, 3D 객체, 소매 장면 등 다양한 분야에 적용되고 있습니다.

그러나 최근의 회전 객체 탐지 모델을 통합하여 평가하고 사용할 수 있는 오픈소스 벤치마크가 부족했습니다. 가장 인기 있는 객체 탐지 벤치마크인 MMDetection, Detectron2, SimpleDet 등은 모두 수평 탐지에 초점을 맞추고 있습니다. AerialDetection은 초기의 회전 탐지 벤치마크였지만, 기본적인 베이스라인만 제공하고 새로운 방법의 통합이 부족했습니다. 또한 이러한 벤치마크들은 모두 PyTorch 기반으로, 산업 배포 측면에서 TensorFlow보다 효율성이 떨어질 수 있습니다.이러한 간극을 메우기 위해 우리는 AlphaRotate를 제안하고 구현했습니다. AlphaRotate는 TensorFlow 기반 프레임워크로, 최신 탐지 기술과 모델들을 포함하고 있습니다. 산업계와 학계 모두에 사용자 친화적이며, 다음과 같은 특징을 가지고 있습니다:

1. TensorFlow 기반의 최초의 회전 객체 탐지 벤치마크 중 하나로, 항공 이미지, 장면 텍스트, 얼굴 등 다양한 데이터셋에서의 학습과 테스트를 지원합니다.
2. 깔끔하고 모듈화 된 구현으로, 새로운 방법의 통합과 다양한 모듈의 조립을 용이하게 합니다.
3. 상세한 설치 가이드와 튜토리얼을 제공하며, 모든 모델에 대해 단위 테스트, 지속적 통합, 코드 커버리지, 유지 보수성 검사, 시각적 모니터링 및 분석을 수행합니다.
4. 다중 GPU 학습과 다중 프로세스 테스트를 지원하며, 데이터 증강, 다중 스케일 학습 및 크로핑, 확률적 가중치 평균화 등 모델 성능을 향상하는 기법들을 제공합니다.

사용된 기술 1: 모듈화 된 구현

AlphaRotate의 핵심은 빠르고 쉬운 모델 개발을 가능하게 하는 기본 클래스와 함수 세트입니다. 개발자들은 특정 모듈을 추가/삭제/개선하여 새로운 회전 객체 탐지 모델을 구축할 수 있습니다. 이러한 모듈화 된 설계는 코드 활용도를 높이고 디버깅과 문제 해결을 용이하게 합니다.AlphaRotate의 탐지기는 다음 8개의 구성 요소로 조직됩니다: 데이터, 백본, 탐지기, 넥, 앵커 헤드, ROI 추출기, 경계 상자 헤드,

손실 함수 이러한 모듈화된 구조를 통해 개발자들은 각 구성 요소를 독립적으로 개선하거나 교체할 수 있어, 유연하고 확장 가능한 모델 개발이 가능합니다.

사용된 기술 2: 다양한 모델과 도구 지원

AlphaRotate는 18개 이상의 최신 회전 객체 탐지 방법을 지원합니다. 여기에는 단일 단계 방법, 2단계 방법, 앵커 기반 방법, 앵커 없는 방법 등이 포함됩니다. 또한 항공 이미지, 장면 텍스트, 얼굴 등 거의 10개의 데이터셋에 대한 학습과 테스트를 지원합니다.

특히, DOTA 데이터셋에서 모든 방법(하이브리드 방법 포함)에 대한 공정한 비교를 제공하여 연구자들에게 정확하고 포괄적인 베이스라인을 제공합니다. 모든 모델의 가중치 다운로드 링크도 제공되어 있어, 연구자들이 쉽게 사전 학습된 모델을 활용할 수 있습니다.

사용된 기술 3: 오픈 소스 및 협업 개발

AlphaRotate는 오픈 소스 정신으로 개발되었으며 Apache-2.0 라이선스 하에 제공됩니다. GitHub에서 호스팅 되고 있어, 개발자들이 플랫폼을 통해 이슈를 상담하고 토론할 수 있습니다. 외부 기여와 요청을 장려하며, 모든 새로운 기여와 버그에 대해 여러 테스트를 제공하는 엄격한 규칙을 적용합니다. 이러한 오픈 소스 및 협업 개발 방식은 AlphaRotate의 지속적인 개선과 확장을 가능하게 합니다. 현재 약 620개의 별표와 112개의 포크가 생성되었으며, 47개의 이슈가 해결되었습니다.

필요한 공식에 대한 설명

회전 객체 탐지에서 중요한 평가 지표 중 하나는 mAP(mean Average Precision)입니다. mAP는 다음과 같이 계산됩니다:

mAP = (1/N) * Σ(AP for each class) 여기서, N: 클래스의 수, AP: 각 클래스에 대한 Average Precision

AP는 Precision-Recall 곡선 아래의 면적으로 계산됩니다. 회전 객체 탐지에서는 IoU(Intersection over Union) 계산 시 회전된 경계 상자를 고려해야 합니다. AlphaRotate에서는 mAP50(IoU 임계값 0.5에서의 mAP), mAP75(IoU 임계값 0.75에서의 mAP), mAP50:95(IoU 임계값 0.5에서 0.95까지의 평균 mAP) 등 다양한 mAP 지표를 제공하여 모델의 성능을 종합적으로 평가할 수 있도록 합니다.

결론: 회전 객체 탐지의 미래를 열다

AlphaRotate는 시각적 회전 객체 탐지를 위한 딥러닝 벤치마크로, Apache-2.0 라이선스 하에 TensorFlow로 구현되었습니다. 유연성과 사용 편의성을 모두 고려한 이 아키텍처는 산업 응용과 학술 연구 양쪽에서 회전 객체 탐지의 배포를 용이하게 하는 것을 목표로 합니다.

AlphaRotate의 등장으로 회전 객체 탐지 연구는 더욱 가속화될 것으로 예상됩니다. 표준화된 벤치마크와 다양한 모델의 제공은 연구자들이 새로운 아이디어를 쉽게 검증하고 비교할 수 있게 해 줍니다. 또한 산업계에서는 AlphaRotate를 통해 최신 회전 객체 탐지 기술을 보다 쉽게 자신들의 애플리케이션에 통합할 수 있을 것입니다. 향후 우리는 전체 최적화된 벤치마크를 지속적으로 개선하고 대표적인 탐지 방법들을 지원할 예정입니다. 또한 커뮤니티의 참여를 환영하며, 함께 회전 객체 탐지 기술의 발전을 이끌어 나가길 기대합니다. 회전 객체 탐지는 자율주행, 로보틱스, 의료 이미지 분석 등 다양한 분야에서 중요한 역할을 할 것입니다. AlphaRotate가 이러한 기술 발전의 촉매제 역할을 하여, 더 정확하고 효율적인 컴퓨터 비전 시스템의 개발에 기여할 수 있기를 희망합니다.