합성 데이터를 사용하여 개체 감지를 위한 AI 인식 모델 개발 가속화

PDF 버전 다운로드

소개

항공 플랫폼 및 자율 시스템의 운영 개념(CONOPS)은 빠르게 진화하고 있습니다. 무선 주파수(RF) 재밍은 이제 통신 및 글로벌 위성항법 시스템(GNSS) 탐색을 방해하여 다중 클래스 표적 감지 및 추적, 온보드 자율 기능, 에지 기반 자동 표적 인식 및 적대적 교란 환경에서도 작동할 수 있는 종말 유도에 대한 필요성을 높일 수 있습니다. OEM 및 시스템 통합업체의 경우 이러한 변화는 전기 광학(EO) 및 적외선(IR) 카메라를 사용하여 에지에서 임무 관련 개체를 감지, 분류 및 추적하는 디지털 인식 제품에 대한 수요가 증가하고 있습니다.

일반적인 개체 감지기는 대부분의 상황 인식 응용 분야에 충분할 수 있지만, 많은 국방 응용 분야에서는 표적, 행동 및 목표 지점의 세분화된 분류가 필요합니다. AI 인식 솔루션은 감지, 인식 및 식별이라는 세 가지 수준의 인식에 따라 인간의 인식과 유사한 개념 체계를 채택합니다. 각 레벨에는 표적 임계값에 하나의 픽셀이 있으며, 고성능 모델을 훈련시키기 위해 표적 요구 사항의 모든 픽셀을 포함하는 필드 데이터를 수집하는 것은 종종 매우 어렵습니다. 이미지 데이터는 종종 군 조직, 정부 기관, 연구 기관 및 방산업체 전반에 걸쳐 분산되어 있고 각각은 접근 및 상업화 정책이 다르기 때문에 데이터가 제약 요인입니다. 동시에 표적 클래스는 계속 확장되고 있으며,위장(camouflage), 기만(spoofing), 센서 방식(sensor modality), 관측 기하(viewing geometry), 환경과 같은 실제 조건을 학습 데이터에 반영해야 합니다. 이러한 요구 사항을 충족하려면 몇 주 또는 몇 달이 아닌 며칠 만에 데이터 생성 및 모델 교육이 필요합니다. Teledyne FLIR OEM은 이러한 문제를 해결하기 위해 광범위한 Prism™ 디지털 제품 포트폴리오를 지원하는 합성 데이터 생성 및 AI 모델 교육 기능으로서 AIMMGen™를 개발했습니다.

핵심 사항

• AIMMGen은 표적이 다양한 상황을 대상으로 다량의 라벨 표시된 합성 EO, IR 및 다중 스펙트럼 데이터를 생성하여 개체 모델 개발을 가속화합니다.
• 이 툴체인은 부족하거나 비용이 많이 들거나 제한된 실제 데이터 세트에 대한 의존도를 줄이면서 사용 가능한 경우 측정된 데이터를 보강할 수 있는 기능을 제공합니다.
• 자동화된 메타데이터 관리, 데이터세트 큐레이션 및 모델 최적화는 임무별 인식 모델에 대한 반복 가능하고 추적 가능한 개발을 지원합니다.
• AIMMGen은 Prism 디지털 제품 생태계의 일부로서 합성 데이터 및 교육 워크플로를 OEM 플랫폼의 배포 가능한 디지털 인식 기능으로 변환하는 데 도움을 줍니다.
• 예제의 결과는 공대지 탐지에서 측정 가능한 수준의 성능 개선을 보여주며 세밀한 MWIR 해상 표적 분류를 위해 합성 전용 모델 학습이 가능함을 보여줍니다.

지금 합성 데이터가 중요한 이유

모델 학습을 위한 합성 데이터의 전략적 가치는 더 이상 학습 데이터 격차를 메우는 데 국한되지 않습니다. 소프트웨어 정의 감지 및 현장 적응형 AI 인식 기능을 가속화하는 실질적인 방법이 되고 있습니다. 임무 요구 사항이 발전함에 따라 고객은 수개월에 걸친 데이터 수집 및 라벨링 캠페인을 다시 시작하지 않고도 새로운 표적 클래스로 확장하고 다양한 센서 방식에서 검증되며 임베디드 프로세서에 배포할 수 있는 모델을 필요로 합니다.

Teledyne FLIR OEM의 경우 AIMMGen은 이 디지털 제품 전략의 기반이 되는 모델 생성 기반입니다. 이는 희소하거나, 비용이 많이 들거나 수집하기 어려운 이미지를 검증된 AI 모델로 전환하여, 탐지, 추적, 표적 인식 및 임무 특화 인식 기능을 위한 Prism 응용을 지원합니다.

합성 데이터 및 AI 모델 생성

자율 주행과 같은 시장의 개발자들은 종종 대규모 학습 라이브러리에 액세스할 수 있습니다. 이와는 대조적으로, 군사 및 임무 특화 감지 시스템을 개발하는 조직은 대표적인 표적 데이터에 대한 접근이 제한되는 경우가 많습니다. 실제 데이터는 고정밀 분류 모델에 여전히 중요하지만, 합성 데이터는 측정 데이터를 사용할 수 없거나, 제한되거나, 수집 비용이 매우 많이 드는 경우 측정된 데이터세트를 보강하거나 세분화된 분류 모델을 개발할 수 있는 실용적인 방법을 제공합니다.

Teledyne FLIR OEM의 AIMMGen(AI 모델링 및 모델 생성)은 ATR(Automatic Target Recognition) 알고리즘 개발자 및 OEM 통합업체를 위해 단일 파이프라인에서 대규모 자동화 데이터 생성, 지능형 데이터 검색 및 AI 모델 최적화를 결합합니다. AIMMGen은 Prism 디지털 제품 생태계 내에서 모델 공장의 기능을 수행합니다. 즉, 임무 수행이 가능한 소프트웨어 애플리케이션 및 임베디드 인식 모듈을 위한 AI 인식 모델을 생성, 교육, 테스트 및 제공하는 데 도움이 됩니다. 이 툴체인은 표적 개체 유형, 위치, 방향, 센서 방식, 구성, 궤적 및 환경 상태를 포함한 실제 시나리오에 대한 합성 데이터를 신속하게 생성합니다. 이는 현장 데이터 수집 및 수동 라벨링에 일반적으로 필요한 몇 주 또는 몇 개월이 아닌 단 몇 일에 수백만 개의 라벨 이미지를 생성할 수 있습니다.

AIMMGen은 각 이미지에 대한 라벨을 자동으로 생성하고 이미지 세트와 함께 수집 메타데이터를 저장합니다. 사용 사례 전반에서 학습, 검증 및 반복 가능한 배포를 지원하기 위해 각 이미지 및 표적에 대한 메타데이터는 신속한 큐레이션 및 데이터 세트 구성을 위해 데이터 레이크에 저장됩니다. 이 메타데이터에는 수집 매개변수, 표적 정보 및 이미지 매개변수가 포함됩니다. AIMMGen의 확장 가능하고 모델에 구애받지 않 학습 프레임워크 때문에 다양한 사용 사례 및 작업 전반에 걸쳐 클라우드 규모의 학습 및 최적화가 가능합니다. 이 추적 가능한 워크플로를 통해 고객은 모델의 성능뿐만 아니라 어떤 데이터, 조건 및 가정이 모델 개발에 영향을 주었는지도 이해할 수 있습니다.

합성 데이터에서 배포 가능한 디지털 인식으로

엔드투엔드 디지털 인식 파이프라인의 일부로 볼 때 AIMMGen 워크플로가 가장 유용합니다. 합성 데이터 생성은 대규모로 라벨링된 이미지를 생성합니다. 데이터세트 큐레이션 및 메타데이터 관리를 통해 데이터를 검색하고 재사용할 수 있습니다. 자동화된 학습 및 최적화를 통해 큐레이션된 데이터를 모델로 변환할 수 있습니다. 검증 및 성능 테스트는 모델이 현장 응용 작업을 지원할 수 있다는 증거를 제공합니다. Prism 생태계에서 이러한 결과물은 에지에서 감지, 추적, 분류, 컴퓨팅 이미징 및 표적 인식을 수행하는 소프트웨어 제품 및 모듈을 지원할 수 있습니다.

OEM 고객의 경우, 어려운 부분은 모델 학습만이 아닙니다. 더 큰 목표는 개발 위험을 줄이고, 기능 구현 시간을 단축하며, 표적, 센서, 배포 플랫폼 및 임무 요구 사항이 변함에 따라 인식 소프트웨어를 조정할 수 있도록 하는 것입니다.

1단계: AIMMGen 합성 데이터 생성 프로세스

AIMMGen 프로세스의 첫 번째 단계는 데이터 생성으로 위치 유형, 센서 해상도, 표적 개체 유형, 이미징 조건, 센서 구성 및 원하는 이미지 수에 대한 사양을 정하는 것에서 시작합니다. 총 이미지 수가 원하는 수를 충족하거나 초과할 때까지 이러한 사양이 무작위로 조합됩니다. 데이터 생성 파이프라인은 지구의 정확한 지형을 포함하고, 환경 조건을 설정하고, 20,000개 이상의 고유한 모델에서 샘플링된 표적을 삽입하고, 데이터 수집을 시작하는 지리적 시뮬레이션 엔진을 사용합니다. 실제 정답 데이터는 메타데이터로 자동으로 생성되고 표적 메타데이터와 함께 저장됩니다.

그림 1. 몇 분 만에 저렴한 비용으로 합성 학습 데이터 생성

각 이미지 위치의 최종 URI 및 관련 표적 메타데이터를 포함한 이미지 메타데이터가 캡처되어 Elasticsearch 데이터베이스에 저장됩니다. 이러한 메타데이터는 별도의 인덱스에 저장되고 고유 식별자를 통해 연결되어 사용자가 데이터 서브셋을 시각화, 필터링 및 검색할 수 있습니다. 생성 후 시각화 도구를 통해 데이터를 선별하여 실험 설계 및 데이터세트 개발을 지원할 수 있습니다.

2단계: AIMMGen 모델 학습 및 최적화

두 번째 단계는 자동화된 모델 학습 및 최적화입니다. 사용자는 데이터세트, 원하는 모델 성능 특성 및 최적화 지표를 지정합니다. AIMMGen은 AI 학습 노드 클러스터를 조율하여 기준 지표 및 사용자 정의 지표에 따라 최적화된 모델을 학습, 평가 및 생성합니다. 학습 프레임워크는 모델 제약이 없기 때문에 사용자는 AIMMGen 내에서 맞춤형 데이터 파이프라인과 모델 아키텍처를 생성할 수 있습니다. 고객의 임무 또는 표적 세트가 변함에 따라 추적 가능성, 재현성 및 향후 개선을 지원하기 위해 출력 모델을 추적하고 데이터베이스에 저장합니다.

그림 2. 자동 학습 및 최적화

AI 인식 모델 최적화를 위한 기준 성능 지표

AI 인식 모델 개발에서 정밀도, 재현율 및 F1-점수는 모델이 개체 또는 인스턴스를 얼마나 잘 식별하고 분류하는지 평가하는 주요 지표입니다.

정밀도는 모델이 양성으로 예측한 값의 정확도를 측정합니다. 오탐 비용이 높을 때 중요합니다. 군사 응용 분야에서 위협이 아닌 것을 잘못 식별하는 것은 불필요한 행동으로 이어질 수 있습니다.

정밀도 = 참 양성/(참 양성 + 거짓 양성)

민감도 또는 참 양의 비율로도 알려진 재현율(recall)은 모든 관련 인스턴스를 식별하는 모델의 능력을 측정합니다. 이는 양성 인스턴스를 놓치면 실제 위협을 탐지하지 못할 위험과 같은 심각한 결과를 초래할 때 매우 중요합니다.

재현율 = 참 양성/(참 양성 + 거짓 음성)

F1-점수는 모델의 성능에 대한 균형 잡힌 관점을 제공하여 정밀도와 재현율을 모두 고려할 수 있습니다. 이는 불균형 데이터세트를 처리할 때 모델의 전반적인 성능을 측정하는 좋은 척도이며 강력한 인식 시스템을 개발하는 데 필수적입니다.

F1 - 점수 = 2 x (정밀도 * 재현율)/(정밀도 + 재현율)

AIMMGen 예제 응용 분야 및 결과

AIMMGen은 공대지 감지 및 세밀한 해양 분류를 포함한 여러 응용 분야 및 센서 영역에서 검증되었습니다.

공대지 감지 실험에서 Teledyne FLIR OEM은 측정된 EO 및 IR 데이터가 이미 포함된 개체 감지 학습 데이터세트에 합성 전기 광학(EO) 및 장파 적외선(LWIR) 데이터를 추가했습니다. 학습 계획의 제한적인 변경만으로 AIMMGen 학습 모델은 재현율에서 측정 가능한 수준으로 향상되었습니다. 이는 많은 감시, 표적 지정 및 부대 보호 워크플로에서 탐지 누락이 추가적인 오탐보다 더 중요할 수 있기 때문에 작전상 중요합니다. 개선은 전체적인 F1-점수의 향상으로 나타납니다.

표 1. 실제 학습된 모델과 비교한 AIMMGen 모델

AIMMGen은 또한 중간 파장 적외선(MWIR) 해양 사례에서 입증된 바와 같이 실제 학습 데이터가 거의 없거나 전혀 없는 AI 모델 생성을 지원할 수 있습니다. 세분화된 해양 개체 식별에는 일반적으로 상세한 선박 유형 라벨이 있는 고가의 MWIR 데이터세트가 필요합니다. 모델들은 실제 데이터가 제한적이므로 “작은 선박” 및 “큰 선박”과 같은 광범위한 범주만 구분할 수 있습니다. 그러나 AIMMGen을 사용하여 한 모델은 합성 데이터만을 사용해 학습되었으며, 특정 선박 하위 유형을 분류할 수 있었습니다. 성능은 담수 및 연안 환경을 포함한 여러 실제 환경에서 수집된 데이터를 통해 검증되었으며, 합성 데이터만을 이용한 학습의 견고성과 실제 이미지가 부족하거나 수집하기 어려울 때에도 표적 클래스를 확장할 수 있는 가능성을 입증했습니다.

그림 3: 합성 데이터 학습 AI 모델을 활용한 MWIR 해상 선박의 세부 식별

요약

EO, IR 및 다중 스펙트럼 응용 분야를 위한 대규모의 다양한 학습 데이터세트를 생성하는 것은 강력한 AI 인식 시스템을 배포하는 데 있어 여전히 주요한 장벽입니다. AIMMGen은 합성 이미지, 자동화된 메타데이터 관리, 데이터 세트 큐레이션 및 모델 최적화를 통해 이러한 장벽을 해결합니다. Teledyne FLIR OEM의 광범위한 Prism 디지털 제품 전략의 일환으로 AIMMGen은 데이터 생성 툴체인 그 이상입니다. 또한 국방, 자율화, 재난 대응 및 기타 OEM 응용 분야 전반에서 임무 특화 AI 인식 기능을 개발, 검증 및 확장하기 위한 모델 생성 기반을 제공합니다.

Prism 소프트웨어 제품군 및 Teledyne FLIR OEM 디지털 제품에 대한 자세한 내용은 oem.flir.com/prism을 참조하십시오.