임베디드 AI 그 이상: 센서 데이터에서 에지 배포까지 열 인지 파이프라인 최적화

초록

딥 러닝, 컴퓨팅 이미징 및 임베디드 프로세서의 급격한 발전으로 인해, 에지 환경에서 고도화된 인지 워크로드를 실행하는 것이 가능해졌습니다. 열화상 및 다중 스펙트럼 시스템의 경우, 이러한 진보가 제공하는 경쟁 우위는 임베디드 프로세서에 인공 지능(AI) 모델을 탑재하는 것 그 이상을 의미합니다. 더 큰 이점은 크기, 무게, 전력, 지연 시간, 대역폭 및 환경 조건과 같은 실제 제약 하에서 센서 데이터 및 이미지 신호 처리부터 객체 감지, 추적, 런타임 최적화, 열 관리 및 현장 배포에 이르기까지 완전한 인지 파이프라인을 최적화할 수 있다는 것입니다.

이 백서는 Teledyne FLIR OEM이 Prism™ 열화상 및 다중 스펙트럼 이미지 신호 처리, 애플리케이션 특화형 감지 및 추적 라이브러리, 최신 임베디드 AI 플랫폼을 통합하여, 고객이 감지 시점에 즉각적으로 실행 가능한 정보를 제공하는 지능형 이미징 시스템을 구축할 수 있도록 하는 방법을 설명합니다.

.

PDF 파일 다운로드하기

프레젠테이션 보기

목차

1. 약어
2. 소개
3. 경량 모델 및 모바일 프로세서의 발전
4. 임베디드 플랫폼을 위한 신경망 설계 - Pelee^TM 소개
5. 최적화
6. 모바일 프로세서의 빠른 개발 역량
7. 프레임워크
8. 영상 처리 파이프라인
9. Prism ISP 기능
10. 결론

1. 약어

2. 소개

지난 10년 동안 딥 러닝의 발전은 컴퓨터 비전을 수작업 기반의 특징 추출 기반 시스템으로부터, 대규모 데이터세트를 학습하고 특화된 인지 작업에 최적화된 데이터 기반 모델로 변화시켰습니다. 이러한 변화는 객체 감지의 과제를 근본적으로 변화시켰습니다. 이제 개발자들은 고정된 시각적 특징을 직접 설계하는 대신 대표성 있는 교육 데이터를 수집하고, 적절한 모델 아키텍처를 선택하고, 점점 더 정교해지는 신경망을 실제 배포 조건에 맞게 최적화하는 데 집중하고 있습니다. 새로운 기술 개발 초기 단계에서 그렇듯이, 초기에는 이러한 모델을 학습시키고 실행하는 데 필요한 컴퓨팅 성능에 대해서는 상대적으로 관심이 덜했습니다.

이러한 관심 부족으로 인해 비전 기반 시스템에서의 신기술 활용이 제한되었으며, 특히 실시간 객체 분류, 메타데이터 생성, 경보 기능이 필수적인 영상 중심 애플리케이션에서 그 제약이 두드러졌습니다. 동시에 스마트폰 업계에서는 카메라 성능을 둘러싼 치열한 경쟁이 벌어지고 있었습니다. 이는 알고리즘과 현재 컴퓨팅 이미징(CI)으로 불리는 기술을 활용하여 카메라 성능을 지속적으로 개선할 수 있는, 고도로 진보된 이미지 신호 프로세서(ISP)의 급격한 발전으로 이어졌습니다. 더욱 최근에 이르러서는 대규모 언어 모델, 비전 언어 모델 및 멀티모달 AI의 급격한 도입으로 기존 비전 파이프라인과 새로운 파운데이션 모델 기반의 워크로드를 센서와 더 가까운 곳에서 실행할 수 있는 이기종 프로세서에 대한 수요가 증가했습니다.

오늘날의 프로세서는 다수의 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 디지털 신호 프로세서(DSP), 신경망 처리 장치(NPU) 및 ISP 컴퓨팅 블록을 갖춘 이기종 아키텍처를 특징으로 합니다. 또한, 오픈 소스 커뮤니티는 YOLO 계열의 객체 감지기, 트랜스포머 기반 감지 모델, ONNX(Open Neural Network Exchange)와 같은 플랫폼 독립적 파일 형식, PyTorch 및 TensorFlow를 포함한 개발 프레임워크, TensorRT, ONNX Runtime, OpenVINO, LiteRT/TensorFlow Lite와 같은 프로덕션 런타임, 그리고 하드웨어별 소프트웨어 개발 키트(SDK) 등 인지 시스템을 구축하는 데 사용되는 수많은 구성 요소를 제공했습니다. 이제는 PyTorch 또는 TensorFlow에서 모델을 학습시키고, ONNX로 내보내고, 목표 런타임에 맞게 최적화 및 정량화한 다음, 배포된 하드웨어에서 지연 시간, 전력, 메모리 사용량 및 정확도를 직접 검증하는 것이 일반적인 워크플로로 자리잡았습니다.

Teledyne FLIR OEM은 광범위한 애플리케이션을 위해 인지 및 컴퓨팅 이미징 또는 이미지 신호 처리를 크기, 중량 및 전력(SWaP)에 최적화된 프로세서에 통합하는 데 중점을 두고 있습니다. 시스템 개발자들은 최첨단 노드에서 제작된 새로운 실리콘 반도체 설계를 활용하여, 배터리 수명을 늘리고 시스템 열 관리를 간소화할 수 있습니다.

이는 지능형 열화상 시스템 설계에 있어 핵심적인 과제입니다. 가시광 카메라용 AI 기술을 열화상에 단순히 적용할 수는 없는데, 이는 센서의 물리적 특성, 더 낮은 텍스처 콘텐츠, 환경 변동성, 대기 효과, 표적 크기, 광학계, 프레임 레이트, 캘리브레이션 및 감지기가 보는 영상을 형성하는 이미지 처리 과정 등을 고려해야 하기 때문입니다. 실제로 감지 및 추적 성능은 원시 센서 데이터, 방사성 또는 비방사성 처리, 톤 매핑, 노이즈 제거, 안정화, 초고해상도, 모델 아키텍처, 양자화, 런타임 매핑, 메모리 대역폭 및 전력 관리 등 전체 체인에 따라 달라집니다. Teledyne FLIR OEM의 장점은 AI 추론을 독립 실행형 기능으로 취급하는 것이 아니라, 해당 체인 전반에 걸쳐 최적화하는 능력에 있습니다.

3. 경량 모델의 발전
및 모바일 프로세서

딥 러닝이 컴퓨터 비전에 미치는 영향력이 확인된 후, 저비용 모바일 프로세서 기반의 에지 환경에서 실행할 수 있는 신경망 및 모델 개발이 시작되었으며, 이를 통해 자동 표적 인식(ATR), 차량 자율주행, 첨단 운전자 지원 시스템(ADAS), 보안, 지상 및 항공 인텔리전스, 감시 및 정찰(ISR)을 포함한 비디오 실시간 애플리케이션의 객체 탐지 기술 구현이 가능해졌습니다. 비전 기반 제품에 통합된 기타 소프트웨어 패키지에는 SLAM(동시 위치 추정 및 지도 작성), 충돌 방지, 센서 융합, 광학 흐름 및 객체 추적이 포함되어 있습니다. 이러한 연산적으로 까다로운 기능은 특정 하드웨어 아키텍처에 맞게 컴파일될 때, 대상 시스템 온 칩(SoC) 내의 CPU, GPU, DSP, NPU, ISP 및 메모리 하위 시스템에 걸쳐 매핑됩니다. 이러한 작업을 최신 이기종 프로세서에서 관리하는 것은 상당한 엔지니어링 과제이지만, 이는 클라우드 의존형 아키텍처에 비해 소비 전력, 지연 시간 및 열 관리 측면에서 압도적인 이점을 제공합니다. 불과 몇 세대 만에 첨단 SoC는 10nm급 노드에서 7nm, 5nm 및 4nm급 설계로 전환되었으며, 그에 따라 와트당 성능이 크게 향상되었습니다.

표 1 - 대표적인 임베디드 에지 AI 프로세서 및 모듈

이미지 신호 처리 및 AI 객체 감지 알고리즘은 연산 비용이 매우 높습니다. 예를 들어, Teledyne FLIR OEM의 고급 노이즈 제거 및 초고해상도 알고리즘은 초당 픽셀당 최대 100,000번의 연산(초당 60프레임(fps)에서 640x512 해상도의 입력을 처리할 때 초당 약 2조 개의 연산(TOPS))을 수행하며, 이는 GPU 코어에서 실행합니다. 또한 규모가 큰 객체 감지 모델을 실행하면 막대한 처리 능력이 소모되며 Qualcomm® 플랫폼에서는 DSP 하위 시스템에서, NVIDIA® 플랫폼에서는 GPU에서 구동됩니다.

열 시스템의 경우 원시 TOPS는 유용하지만 불완전한 지표입니다. 실제 성능은 파이프라인의 각 단계가 적절한 컴퓨팅 리소스에 얼마나 효율적으로 매핑되는지, 비디오 데이터가 메모리를 통해 이동해야 하는 횟수가 얼마나 되는지, 이미지 향상 작업이 감지기 신뢰도를 개선하거나 저하시키는지 여부, 전체 시스템이 전력 또는 열 제한을 초과하지 않고 필요한 프레임 레이트를 유지할 수 있는지 여부에 따라 달라집니다. 따라서 가장 효과적인 임베디드 AI 설계는 프로세서 사양만으로 시작하는 것이 아니라, 감지 문제와 배포 환경을 고려하는 것에서부터 시작됩니다.

객체 감지기를 개발하고 배포할 때 고려해야 할 변수는 매우 다양하며, 여기에는 프로세서 아키텍처, 요구되는 정확도, 허용 가능한 지연 시간 또는 프레임 레이트, 메모리 대역폭, 소프트웨어 런타임, 모델 크기 및 전력/열 예산 등이 포함됩니다. 임베디드 프로세서에서 객체 감지기를 구동하려는 요구에 대응하여, 2015년 워싱턴 대학교의 Joseph Redmon이 개발한 YOLO(You Only Look Once)와 2017년 Google이 개발한 MobileNet 등의 여러 저전력 신경망이 구현되었습니다. 그 이후로 객체 감지기 환경은 새로운 YOLO 제품군 모델, 트랜스포머 기반 감지기, NMS(non-maximum suppression) 없는 아키텍처, 다중 작업 인지 및 오픈 어휘 객체 탐지를 위해 설계된 모델을 포함하는 방향으로 크게 확장되었습니다. 임베디드 열화상 및 다중 스펙트럼 시스템의 경우, 가장 중요한 질문은 단순히 어떤 네트워크가 가장 최신인지가 아닌, 선택한 프로세서 상에서 어떤 모델이 필요한 감지 성능, 지연 시간, 소비 전력 및 통합 신뢰성을 제공하는지에 관한 것입니다.

YOLO는 단일 패스(single-pass) 방식을 도입하여 객체 감지에 혁신을 가져왔습니다. YOLO는 영역 제안과 분류를 포함하여 여러 단계를 거치는 영역 기반 합성곱 신경망(RCNN)과 달리, 신경망에서 단 한 번의 순방향 연산만으로 객체 감지와 위치 측정을 동시에 완수합니다. YOLO 알고리즘은 입력 이미지를 그리드로 나누고 각 그리드 셀에 대해 여러 바운딩 박스와 클래스 확률을 동시에 예측함으로써 속도와 정확도를 모두 제공합니다. 1단계 감지기는 단일 피드 포워드(feed-forward) 네트워크를 사용하여 객체 클래스 및 위치를 직접 예측합니다. 단일 샷 감지기(SSD)는 예측을 위해 멀티 스케일 기능을 사용하고, 다양한 객체 형태에 대응할 수 있도록 기본 상자 및 종횡비를 사용하는 등 여러 측면에서 YOLO를 개선합니다. 2단계 접근 방식은 일반적으로 더 높은 정확도를 보여주지만, 1단계 접근 방식은 종종 더 높은 효율성으로 작동합니다. 최신 감지기들은 향상된 기능 통합, 양자화 고려 설계, 트랜스포머 기반 어텐션 메커니즘 및 후처리 오버헤드를 줄이는 배포 친화적 아키텍처를 통해 이러한 트레이드오프 관계를 지속적으로 개선하고 있습니다.

4. 임베디드 플랫폼을 위한 신경망 설계 - Pelee 소개

그림 1 - 객체 감지기의 구조(Juan R. Terven, 2023)

열화상 카메라용 객체 감지를 설계하려면 범용 비전 모델을 선택하는 것과 다른 시작점이 필요합니다. 열화상 이미지는 종종 가시광 이미지보다 시각적 텍스처가 적고, 표적이 불과 몇 픽셀만 차지할 수 있으며, 환경 조건에 따라 대비, 외형 및 배경의 복잡성이 변경될 수 있습니다. 이러한 요인으로 인해 감지기를 센서, 광학계, 이미지 처리 파이프라인 및 배포 하드웨어와 함께 공동 설계하는 것이 중요합니다.

Teledyne FLIR OEM은 Pelee 네트워크(특허 출원 중)의 개발을 통해 단일 패스 접근 방식을 확장했습니다. 합성곱 신경망(CNN)은 크게 세 가지 주요 블록, 즉 특성 추출기 또는 백본, 특성 집계기 또는 넥, 헤드 또는 객체 감지기로 구성됩니다. Pelee는 특성 재사용을 촉진하는 고밀도 연결 패턴으로 구축된 새로운 백본 설계와, 다양한 규모의 수용 영역을 얻기 위한 양방향 고밀도 레이어를 특징으로 합니다. Pelee는 PANet(Path Aggregation Feature Pyramid Network)를 기반으로 하는 새로운 FFB(특성 융합 블록)를 통합합니다. 소형 표적 감지를 염두에 두고 설계된 새로운 FFB는 출력의 각 특성 맵이 얕은 계층에서 학습한 세부 정보를 유지하는 동시에, 높은 수준의 의미론적 특성을 획득하도록 하는 것을 목표로 하는 후기 융합 전략을 채택하고 있습니다.

표 2 - 백본 리소스

백본 네트워크는 객체 감지기의 메모리, 속도 및 성능에 직접적인 영향을 미칩니다. SSD CNN에서는 백본 네트워크가 연산 비용의 90% 이상을 소비합니다. Teledyne FLIR OEM의 CNN은 스퀴즈 앤 엑사이테이션(Squeeze-and-Excitation) 블록 사용을 피하고, 하드웨어에 따라 활성화 함수를 신중하게 선택하며 하드웨어에 맞춰 네트워크의 폭과 깊이를 조정하는 새로운 백본 설계를 포함합니다.

따라서 Pelee는 모든 새로운 모델 제품군을 대상으로 하는 범용 벤치마크의 최강자가 아닌, 특정 애플리케이션에 최적화된 배포 지향형 감지기 아키텍처로 이해되어야 합니다. 이 모델의 가치는 스마트 열화상 카메라에 중요한 엔지니어링 탐색 공간에 있습니다. 즉 소형 표적 감지 성능, 예측 가능한 지연 시간, 메모리 효율성, 하드웨어 특성을 고려한 활성화 방식 선택, 제한된 SWaP 환경 내에서 Prism ISP 기능, 비디오 안정화, 추적 및 기타 인지 작업과 함께 실행할 수 있음을 의미합니다.

그림 2 - Pelee 백본 기반 모델 성능

그림 3 – Pelee 대 YOLO 네트워크 성능 비교

5. 최적화

양자화

양자화는 추론을 실행할 때 모델 지연 시간을 개선하고 메모리 풋프린트를 줄이며, 전력 소비를 낮추기 위해 신경망 매개변수에서 부동 소수점 값을 압축하는 것입니다. 모델 학습은 일반적으로 강력한 GPU 기반 시스템에서 32비트 부동 소수점 데이터를 사용하여 수행됩니다. 이후 임베디드 프로세서에 대한 추론은 프로세서, 모델 아키텍처, 캘리브레이션 데이터 및 허용 가능한 정확도 트레이드오프에 따라 FP16, FP8, INT8, INT4 또는 기타 런타임 지원 정밀도를 사용하여 최적화됩니다.

Teledyne FLIR OEM은 INT8을 사용하여 메모리 사용량, 연산 시간 및 에너지 소비를 줄입니다. 이는 다수의 임베디드 비전 작업에서 정밀도와 속도 간에 실용적인 타협점을 제공하기 때문입니다. 그러나 이제 배포는 명시적 양자화 워크플로, 대표성 있는 캘리브레이션 데이터, 필요에 따른 양자화 인식 학습 및 표적별 엔진 생성에 점점 더 의존하고 있습니다. 성능, 정확도, 메모리 사용 및 열 동작은 GPU, DSP, NPU 및 공급업체별 런타임 구현 방식에 따라 크게 다를 수 있으므로, 개발자는 실제 하드웨어에서 FP16, INT8 및 더 낮은 정밀도 옵션들을 검증해야 합니다. 컴퓨팅 리소스를 확보하면 개발자는 둘 이상의 카메라 피드에 대한 실시간 추론을 포함하여 더 많은 기능을 추가할 수 있는 유연성을 확보할 수 있습니다.

가지치기(Pruning)

가지치기는 각 유닛의 중요도를 판단하고 비활성 경로를 제거하여 신경망에서 미사용 데이터 경로를 줄이는 데 사용되는 방법입니다. 학습 후, 많은 신경망 뉴런의 가중치 값은 0이므로, 이러한 뉴런은 양자화 후 이차 모델 학습 프로세스를 통해 제거될 수 있습니다. 현재의 가지치기 방법은 가중치 가지치기, 채널 가지치기 및 뉴런 가지치기를 포함하며, 이들 각각은 고유한 장점과 단점을 갖습니다.

유닛의 중요성을 결정하는 기준은 정확도에 영향을 미칠 수 있습니다. 제약 조건 학습 방법을 사용할 경우, 이를 개선할 수 있으나 구현하기가 복잡합니다. 무작위 탐색을 기반으로 하는 가지치기는 구현이 간단하지만, 이를 개선하는 다른 방법에 비해 신경망 모델의 성능이 제한적입니다. 따라서 각 방법은 실제 애플리케이션 시나리오와 함께 선택해야 합니다. 복잡성과 모델 압축 효율성을 모두 종합할 수 있는 하나의 방법은 존재하지 않습니다.[i]

열 관리

드론과 무기용 조준경을 포함한 많은 제품 범주에서 전력 소비는 설계상의 중요한 제약 조건입니다. 높은 전력 소비는 작동 시간을 제한하고, 지원 및 군수 측면의 난이도를 높이며, 열 관리를 위한 복잡성과 비용을 증가시킵니다. 배터리로 구동되는 일부 장치의 경우, 전력을 절대적으로 최소로 유지하기 위해 FPGA(필드 프로그래밍 가능 게이트 어레이) 또는 ASIC(주문형 반도체) 프로세서를 사용하는 것을 선택하기도 하지만, 이러한 라이브러리는 일반적으로 OpenCV와 같은 오픈 소스 구성 요소 및 프레임워크를 사용하여 ARM 프로세서 및 기타 코어에서 실행되도록 컴파일되기 때문에 타사 분석 및 ISP 소프트웨어를 사용할 수 없습니다. 전력 제약이 가장 엄격한 제품에는 해당하지 않지만, 4nm~7nm 공정으로 제조된 차세대 임베디드 프로세서의 전력 효율성은 시스템 설계자에게 제품에 고부가가치 기능을 추가할 수 있는 다양한 옵션을 제공합니다.

여러 대의 카메라를 구동하면서 객체 감지기, 표적 추적기 및 국소 대비 향상과 같은 여러 기능 루틴을 동시에 실행하는 시스템의 경우, 개발자는 프로세서 처리량의 상한에 도달하게 되고 많은 열이 발생하게 됩니다. 이를 관리하기 위해 소프트웨어 개발자는 동적으로 설정하거나 조정할 수 있는 구성 매개변수를 내장할 수 있습니다. 예를 들어, 많은 애플리케이션의 경우 프레임 레이트에 맞춰 추론을 수행할 필요가 없습니다. 추론 출력을 10fps 이하로 줄이면 전체 소프트웨어 스택의 전력 프로파일을 전력 예산에 맞게 관리할 수 있습니다.

6. 모바일 프로세서의
빠른 개발 역량

CNN 모델 및 CI 알고리즘을 실행하는 것은 막대한 연산 능력이 요구됩니다. 최근까지 임베디드 프로세서는 AI 및 CI 워크로드를 충족할 수 있는 역량을 갖추지 못했습니다. AI는 곱셈-누산 연산의 대규모 병렬 처리를 필요로 합니다. 기존 GPU는 그래픽 처리를 위해 이와 유사한 방식으로 병렬 처리를 수행할 수 있었기 때문에, 이는 AI 애플리케이션, 특히 모델 학습에 재사용되었습니다. 그 결과 NVIDIA는 모델 학습 분야의 지배적인 강자로 자리매김했습니다.

오늘날의 모바일 및 임베디드 프로세서는 경이로운 엔지니어링의 결실입니다. 예를 들어, Qualcomm의 Dragonwing QCS8550 SoC는 까다로운 IoT 및 에지 AI 애플리케이션을 위해 CPU, GPU, DSP, NPU, 컴퓨터 비전 및 전용 ISP 리소스를 갖춘 4nm 공정 기반의 칩셋입니다. 통합 ISP 및 컴퓨터 비전 리소스는 비디오 노이즈 제거, 안정화, 이미지 보정, 화이트 밸런스, 색상 처리, 자동 게인 제어, 초점 및 기타 카메라 기능과 같은 기능을 지원합니다. 이러한 종류의 칩은 막대한 개발 투자를 필요로 하며 첨단 파운드리 역량, 소프트웨어 툴링 및 장기적인 생태계 지원에 의존합니다.

그림 5 - QCS 8550 프로세서 코어

Teledyne FLIR OEM은 고객이 제품 개발 시 기반으로 삼을 수 있는 플랫폼을 만들고자 했으며, 가능한 한 단일 프로세서를 사용하여 고도로 통합된 소프트웨어 스택을 구현하고 비용, 지연 시간 및 전력을 최소화하는 플랫폼을 구축하고자 했습니다. 이는 Teledyne FLIR OEM Boson® 열적외선(IR) 카메라 모듈에 Intel® Myriad™ 프로세서를 채택하는 것을 포함하여, 여러 플랫폼 세대에 걸쳐 추구해 온 목표였습니다. Myriad 칩 아키텍처는 컴퓨팅 이미징 또는 CNN 기반 객체 감지기 구동을 위한 보다 무거운 연산 요건을 충족할 수 없었습니다. NVIDIA Xavier, NVIDIA Jetson Orin급 모듈, Qualcomm RB5/QCS5165 및 Qualcomm QCS8550-class 프로세서가 도입되면서, 특정 프로세서 코어 및 가속기에 분산된 여러 소프트웨어 스택을 실행하는 것이 현실적으로 가능해졌습니다.

시스템 온 칩(SoC) 개요

오늘날의 임베디드 프로세서는 최신 파운드리 공정 노드를 활용하여 통합 메모리를 갖춘 멀티 코어 설계를 지원합니다. 프로세서 공급업체들은 매우 포괄적인 개발 지원을 제공하며 개발자들은 이러한 멀티코어 프로세서에 코드를 배포하여 성능을 극대화하는 동시에 전력 및 열 예산을 충족할 수 있습니다.

CPU

CPU의 핵심 기능은 RAM(랜덤 액세스 메모리)에서 명령어를 가져온 다음 디코딩하고 명령어를 실행하는 것입니다. CPU는 순차적 워크로드를 처리하는 루틴을 실행하도록 설계된 범용 프로세서입니다. 많은 CPU에는 특정 연산의 속도를 높이기 위한 벡터 프로세서가 내장되어 있습니다(예: ARM 기반 CPU의 NEON). Teledyne FLIR OEM의 디지털 제품 기능 중 일부는 CPU 코어에서 실행되며, 여기에는 Prism ISP 상관 비디오 추적기 및 전자식 비디오 안정화가 포함됩니다. 현재 세대 SoC에서 사용할 수 있는 CPU 코어가 많기 때문에, 개발자는 성능과 전력을 최적화할 수 있는 엄청난 유연성을 가지고 있습니다. CPU는 픽셀당 방대한 횟수의 수학적 연산이 필요한 작업에 적합하지 않습니다. CPU에는 처리량 제한이 있으며 연산당 상대적으로 높은 전력을 소비합니다.

GPU

AI 및 CI 워크로드는 방대하며, 엄청난 양의 대역폭과 처리 능력을 요구합니다. 프로세서 설계자들은 메모리, 보안 및 실시간 데이터 연결을 통합하는 강력한 칩 아키텍처를 만들어냈습니다. 기존 CPU는 일반적으로 필요한 처리 성능이 부족하지만, 순차적 작업을 수행하는 데 이상적입니다. GPU는 AI의 곱셈-누산 함수의 병렬 처리를 수행할 수 있으며, 다양한 AI 애플리케이션에 적용할 수 있습니다. 실제로 GPU는 AI 가속기 역할을 하여 신경망 및 이와 유사한 워크로드의 성능을 향상시킬 수 있습니다. GPU는 수천 개의 컴퓨팅 코어를 가질 수 있으며 많은 병렬 처리 작업에 사용됩니다. GPU는 특히 모델을 훈련하는 데 유용합니다. 그러나 GPU는 상당한 전력을 소비하며 온칩 메모리 요구 사항이 더 높습니다. 이러한 이유로 현대의 모바일 프로세서들은 에지에서 추론을 실행하기 위해 디지털 신호 프로세서(DSP)를 사용하는 전용 AI 보조 프로세서를 탑재하고 있습니다.

DSP

DSP는 수학적 연산을 실행하도록 최적화된 특수한 저전력 구조의 SoC 서브시스템입니다. 이는 긴 명령어 단어를 활용하여 클럭 사이클당 처리량을 극대화합니다. 그러나 프로그래밍이 쉽지 않으며, 최고의 성능을 달성하기 위해서는 DSP 하드웨어의 특성, 프로그래밍 환경 및 DSP 소프트웨어의 최적화에 익숙해야 합니다. Qualcomm Hexagon™ Tensor 프로세서(HTP)는 연산 집약적 AI 워크로드 실행에 적합한 AI 가속기입니다. HTP에서 AI 모델을 실행하여 성능을 향상시키려면, 지원되는 정밀도 INT4, INT8, INT16 또는 FP16 중 하나로 모델을 양자화해야 합니다.

ISP

디지털 사진 기술은 모바일 핸드셋 산업에서 치열한 경쟁이 펼쳐지는 최전선에 있기 때문에, 모바일 프로세서 공급업체들은 노이즈 제거, 렌즈 왜곡 보정, 화이트 밸런싱, 자동 노출, 자동 초점, 모자이크 제거 및 이미지 압축을 포함한 이미지 향상 기능을 수행하기 위해 전용 실리콘 지적 재산(IP) 블록을 통합하고 있습니다. 시스템 수준에서 ISP 튜닝은 일반적으로 특정 이미지 센서 및 렌즈에 대한 매개변수 및 다양한 필터를 최적화하는 데 필요합니다. ISP 미세 조정은 그 자체로 하나의 독립된 산업 분야입니다. 많은 SoC 공급업체들이 대중적인 이미지 센서용 ISP 라이브러리를 제공하므로, 시스템 개발자의 상당한 투자를 절감할 수 있습니다.

모바일 프로세서 공급업체가 열화상 카메라 ISP를 직접 설계하고 제조해야 할 타당한 이유는 거의 없습니다. 그럼에도 불구하고 이미지 신호 처리의 이점은 매우 가치가 있으므로, Teledyne FLIR OEM은 16비트에서 8비트로의 톤 매핑(자동 게인 제어), 시공간 노이즈 제거, 초해상도, 난류 완화 및 전자적 이미지 안정화를 포함한 포괄적인 ISP 기능 세트를 개발했습니다. 이러한 알고리즘의 대부분은 막대한 처리 요구량을 고려하여 GPU에서 실행됩니다.

메모리

디지털 비디오 스트림의 높은 데이터 전송률과 여러 알고리즘에 의해 반복적으로 데이터를 읽을 수 있다는 사실을 감안할 때, 메모리 용량과 메모리 대역폭은 효율적인 신호 처리에 매우 중요한 요소입니다. 클럭 속도 및 메모리 대역폭 향상, 전용 AI 가속 기능, 그리고 소프트웨어 최적화 개선을 결합한 결과, Teledyne FLIR OEM의 기존 최대 AI 모델(768x768픽셀 입력 해상도)은 Qualcomm QCS8550의 경우 6ms(QRB5165의 경우 33ms)로 실행됩니다. 이는 추론 속도가 5배 이상 증가한 것을 나타내며, 차세대 SXGA(1280x1024) 해상도 카메라의 프레임 레이트에 맞춰 실시간 추론을 달성하기 위한 안정적인 여유 성능을 제공하는 것입니다.

7. 프레임워크

AI 프레임워크는 지능형 시스템이 생성, 최적화 및 배포되는 방식을 형성하는 기본 구성 요소입니다. 라이브러리와 내장 함수를 갖춘 이러한 프레임워크를 통해, 개발자들은 처음부터 모든 기능을 설계하지 않고도 정교한 AI 알고리즘을 구축할 수 있습니다. 양산형 에지 AI 시스템에서 프레임워크에 대한 논의는 이제 모델 학습을 넘어 내보내기 포맷, 런타임 최적화, 양자화 툴링, 하드웨어 특화 컴파일러, 회귀 테스트, 무선 업데이트 전략 및 플릿 레벨의 성능 모니터링까지 확장되고 있습니다.

PyTorch는 유연성과 사용자 친화적인 실행 모델로 인해 연구, 실험 및 모델 개발에 널리 사용되고 있습니다. 동적 연산 그래프를 통해 개발자는 즉시 모델의 동작을 변경하고 Python 제어 흐름 작업을 사용할 수 있으므로, 복잡한 모델 아키텍처, 빠른 프로토타이핑 및 반복 실험에 적합합니다.

TensorFlow는 특히 TensorFlow Lite 또는 LiteRT가 이미 통합되어 있는 실제 운영 환경 및 모바일 배포 워크플로에서 여전히 중요한 위치를 차지하고 있습니다. 그러나 현대적인 임베디드 배포 환경은 PyTorch와 TensorFlow 중 하나를 선택하는 간단한 문제가 아닙니다. 일반적인 양산 경로는 PyTorch 또는 TensorFlow에서 모델을 학습시키고, ONNX 또는 기타 이식 가능한 형식으로 내보내고, 그래프를 최적화하고, 모델을 양자화한 다음 TensorRT, ONNX Runtime, OpenVINO, LiteRT/TensorFlow Lite 또는 Qualcomm AI Engine Direct와 같은 런타임으로 컴파일하여 대상 장치에서 지연 시간, 정확도, 전력 소비 및 발열 특성을 검증하는 것입니다. 따라서 최고의 프레임워크는 단순히 학습 중에 가장 편리한 프레임워크가 아니라, 선택한 프로세서 및 애플리케이션에 대한 전체 배포 파이프라인을 지원하는 것입니다.

8. 영상 처리 파이프라인

영상 처리 파이프라인은 Teledyne FLIR OEM의 접근 방식이 가장 차별화되는 곳입니다. 이 파이프라인은 카메라, ISP, 감지기, 추적기 및 임베디드 프로세서를 독립적인 구성 요소로 취급하는 대신, 상호 연결된 시스템으로 설계하였습니다. 각 단계는 다음 단계에 영향을 미칩니다. 즉 노이즈 제거는 표적의 텍스처를 변경하고, 대비 향상은 모델 입력 분포를 변경하며, 안정화는 시간적 일관성을 개선하고, 초고해상도는 유효 세부 사항을 개선할 수 있으며, 추적은 프레임별 감지 결과를 지속적인 정보로 변환합니다. 이러한 상호 작용을 최적화하는 것은 신뢰할 수 있는 에지 인지를 위해 필수적입니다.

Teledyne FLIR OEM은 LCE(국소 대비 향상), 공간 및 시간 노이즈 제거, 전자식 이미지 안정화, 난류 완화, 초고해상도 및 여러 비디오 융합 기술을 포함하는 열화상 이미지용 이미지 처리 소프트웨어 라이브러리 모음인 Prism ISP를 개발했습니다. 이러한 기능은 인간의 판독을 위해 이미지 품질을 개선하는 동시에 다운스트림 감지 및 추적 알고리즘에 제공되는 정보를 형성합니다. 목표는 영상의 화질을 개선하고 전력 요구 사항과 비용을 최소화하는 동시에, 전체 열 인지 파이프라인의 신뢰성, 효율성 및 배포 용이성을 개선하는 것입니다. Teledyne FLIR OEM의 열화상 카메라 모듈에는 Prism ISP를 실행하기 위한 통합 프로세서가 포함되어 있지 않습니다. 최신 모바일 및 임베디드 프로세서를 활용할 수 있게 됨에 따라, 이제 실제 전력 및 열 제약 조건을 충족하면서 유용한 비디오 프레임 레이트로 ISP, 감지 및 추적 알고리즘을 구동할 수 있는 성능을 갖춘 보조 전자 모듈을 추가하는 것이 현실적으로 가능해졌습니다.

그림 6 - Prism 비디오 처리 파이프라인

열화상 기술은 검사 및 소방 목적으로 수 미터 거리에서, 인텔리전스, 감시 및 정찰(ISR) 목적으로 수 킬로미터 거리에서, 그리고 공중, 타워 기반 및 지상 수준의 관점에서 객체를 시각화하기 위해 여러 사용 사례에서 활용됩니다. 거리, 관점, 낮, 밤 및 날씨 기반 환경 조건의 조합은 실제 영상 촬영에 있어 여러 난제를 야기하지만, Prism ISP 알고리즘 기능으로 이러한 문제를 완화할 수 있습니다.

9. Prism ISP 기능

난류 완화

그림 7 - 난류 완화 없이(왼쪽) 및 난류 완화 적용(오른쪽) 비교

대기 난류는 속도, 압력 및 밀도 변동을 특징으로 하는 유체 또는 공기의 불규칙하고 혼란스러운 움직임을 말합니다. 난류가 발생하면 지표면의 태양열 획득으로 인해 대기가 혼합되어 광자 전송에 영향을 미칩니다. 이는 공기를 소용돌이치게 만들고 수증기, 연기 및 기타 물질을 유발하여 적외선 신호의 굴절을 변화시킵니다. 고도화된 기술은 이러한 왜곡 효과를 제거하면서 우수한 시간적 이미지 요소 품질을 유지합니다. 즉, 움직이는 객체가 식별 불가능한 덩어리나 잔상으로 변환되지 않습니다. 이는 AI를 사용하여 사람과 차량을 포함한 표적을 감지할 때 매우 중요합니다.

AI 감지 및 추적의 경우 난류 완화는 단순한 화질 개선 기능 그 이상입니다. 왜곡, 아지랑이 및 착시 현상은 감지기 신뢰도를 낮추고 추적의 안정성을 약화시킬 수 있습니다. 추론 및 추적을 수행하기 전에 시간적 일관성을 개선함으로써, 파이프라인은 더 큰 모델이나 더 높은 연산 예산에만 의존하지 않고 더 신뢰할 수 있는 표적 정보를 제공할 수 있습니다.

난류 완화 알고리즘의 주요 목표는 신호 품질을 개선하고, 노이즈를 줄이며, 난류 조건에서 선명도와 안정성을 복원하는 것입니다. Prism ISP 알고리즘은 난류의 영향을 받는 데이터를 분석하고 처리하기 위해 다양한 수학적 및 신호 처리 기법을 사용합니다.

1. 데이터 획득: 첫 번째 단계는 난기류의 영향을 받는 데이터를 획득하는 것입니다. 이는 이미지 프레임의 형태로 표시됩니다.
2. 전처리: 획득한 데이터는 난류와 직접 관련되지 않은 노이즈 또는 아티팩트 현상을 제거하기 위해 전처리를 거칩니다. 여기에는 신호 품질을 개선하기 위한 필터링, 노이즈 감소 및 캘리브레이션 기술이 포함됩니다.
3. 난류 추정: 데이터에 존재하는 난류 특성을 추정하는 것은 필수적입니다. 여기에는 변동의 통계적 특성을 분석하고 난류 강도, 상관관계 길이 및 시간 척도와 같은 관련 매개변수를 식별하는 것이 포함됩니다.
4. 디콘볼루션 또는 재구성: 디콘볼루션 기법은 난류로 인한 흐림 현상을 역으로 보정하여 해결하려는 시도입니다. 디콘볼루션 알고리즘은 종종 난류의 수학적 모델 또는 경험적 지식을 활용하여 원래 신호를 복원합니다.
5. 적응형 필터링: 난류 조건은 시간과 공간에 따라 달라질 수 있으므로 많은 난류 완화 알고리즘은 적응형 필터링 기술을 사용합니다. 이러한 방법은 추정 난류 매개변수를 기반으로 필터링 매개변수를 동적으로 조정하여, 노이즈 제거와 필수 신호 특성 보존 간의 최적의 트레이드오프 지점을 찾습니다.
6. 후처리: 난기류 완화 단계 후, 추가적인 후처리를 수행하여 화질을 더욱 향상시키고 최종 출력물에 남은 아티팩트 현상을 줄일 수 있습니다. 특정 애플리케이션에 따라 여기에는 노이즈 제거, 선명화, 대비 향상 또는 특징 추출과 같은 기술이 포함될 수 있습니다.

초고해상도

그림 8 – 초고해상도 없음(왼쪽)과 있음(오른쪽) 비교

다중 프레임 초고해상도는 하나 이상의 저해상도 이미지로부터 고해상도 이미지를 재구성하는 것을 목표로 하는 강력한 기술입니다. 시스템의 광학 해상도는 시스템 조리개에 의해 설정된 회절 한계 및 감지기의 샘플링 해상도에 의해 제한됩니다. 작은 조리개 및 저해상도 센서를 사용하면 더 저렴하고 작은 시스템을 만들 수 있지만, 에지가 심하게 앨리어싱되거나 흐린 저품질 이미지가 생성될 수 있습니다. 이는 특히 한정된 조리개 크기와 결합해 회절의 효과를 증폭시키는 장초 광학계를 사용하여 장거리 표적을 촬영할 때 특히 더 두드러집니다. 초고해상도는 정교한 알고리즘을 사용하여, 화질이 저하된 입력 데이터로부터 고해상도 이미지를 재구성합니다. 전통적인 방법에서는 저해상도 이미지 내에서 내재된 공간적 상관관계를 활용하는 데 주로 중점을 두었지만, 최근의 발전에서는 보다 우수한 결과를 달성하기 위해 앨리어싱 기술을 활용하는 것의 효능이 입증되었습니다.

인지 파이프라인에서 초고해상도 기술은 탐지 거리, 소형 표적 분류 및 작업자의 신뢰도에도 영향을 미칠 수 있습니다. 선명화 또는 재구성 과정에서의 아티팩트는 시각적 판독에는 도움이 될 수 있지만, AI 모델이 인식하는 입력 데이터의 분포를 변화시킬 수 있으므로 해당 이점은 시스템 수준에서 평가해야 합니다. 따라서 ISP와 감지 기능을 각각 독립적인 기능으로 고려하기보다 공동 설계해야 할 필요성이 더욱 강조됩니다.

화상 안정화

그림 9 - 전자식 안정화의 일반적인 적용 분야

카메라는 지상 차량, 선박, 항공기, 드론 또는 타워와 같은 움직이는 플랫폼에 장착되는 경우가 많습니다. 플랫폼의 움직임은 비디오 이미지로 직접 전달되어 판독자에게 피로감을 주고 이미지 품질 저하로 이어질 수 있으며, 상황 인식 능력 및 증거 데이터의 신뢰성에도 영향을 미칠 수 있습니다. 전자식 안정화는 특히 원거리 이미징에 사용되는 좁은 시야각의 줌 광학계를 통해 촬영할 때, 움직임으로 인해 발생하는 대부분의 이미지 왜곡을 제거합니다.

자동 인지의 경우, 안정화는 시간적 일관성을 개선하고 잘못된 추적 개시, 감지 누락 및 작업자의 피로를 줄일 수 있습니다. 또한 감지 및 추적을 수행하기 전에 플랫폼으로 인한 이미지 흔들림을 줄여주기 때문에, 다운스트림 알고리즘이 움직임 단서를 더욱 효과적으로 활용할 수 있도록 도와줍니다.

MSX - 다중 스펙트럼 동적 이미징

그림 10 - MSX는 열화상 이미지의 가시 에지를 실시간으로 중첩함

이미지 융합이나 열화상 및 가시광 이미지를 하나의 비디오 스트림으로 결합하는 방법에는 여러 가지가 있습니다. 목표는 각 스펙트럼의 고유하고 가치 있는 정보를 모두 이끌어내는 동시에, 다운스트림 작업자 또는 시스템이 분석해야 할 비디오 스트림을 두 개 이상 전송할 필요가 없도록 하는 것입니다. 두 개 이상의 채널에 대한 완벽한 이미지 정합(정렬)이 필요하고 각 센서의 통합 시간이 다르기 때문에, 이를 실제로 구현하기에는 복잡할 수 있습니다.

Teledyne FLIR OEM은 MSX(다중 스펙트럼 동적 이미징)라는 고유한 기술에 대한 특허를 보유하고 있습니다. 이미지 블렌딩(가시광선과 열화상 이미지의 혼합)과 달리 MSX는 열화상의 세부 정보를 지우거나 열 투명도를 감소시키지 않습니다. 대신 MSX는 고주파 필터를 적용하여 윤곽선, 단어, 숫자 및 기타 고대비 에지 세부 정보를 포함한 심볼로지와 같은 선명하고 가시적인 세부 정보를 추출한 뒤, 이를 열화상 이미지에 오버레이합니다. 이는 이미지 선명도를 높이는 데 도움이 되며 예측 유지보수, 보안 및 항공 ISR 애플리케이션과 같은 분야에서 유익한 기술로 입증되었습니다.

AGC – 자동 게인 제어

그림 11 - 국소 대비 향상(Boson® 640 소스 비디오)

이미지 맥락에서, 대비는 가장 밝은 영역과 가장 어두운 영역 간의 강도 차이를 나타냅니다. 이는 이미지의 전반적인 시각적 인상을 정의하는 데 중요한 역할을 합니다. 국소 대비 스트레칭이라고도 불리는 국소 대비 향상은 전체 이미지의 대비를 일괄적으로 변경하기보다는 이미지의 특정 영역 내에서 대비의 동적 범위를 확장하는 원리로 작동합니다.

국소 대비 향상은 복잡한 디테일을 표현하고 텍스처를 향상시키며 객체의 특징을 도드라지게 만듭니다. 원시 16비트 흑백 센서 데이터를 디스플레이에서 볼 수 있는 8비트 색상 깊이로 변환하는 과정은, 광범위한 픽셀 값 분포를 256가지의 색상 또는 회색조 음영 중 하나로 매핑하는 알고리즘에 의존합니다. 이미지의 픽셀 값 분포는 선형적인 경우가 거의 없기 때문에, 대비를 극대화하는 것은 복잡하며 시나리오마다 다를 수 있습니다. 전체 이미지에 걸쳐 대비를 균일하게 조정하는 전역 대비 향상과 달리, 국소 대비 향상은 국소적인 세부 사항과 미세한 질감을 보존하는 데 중점을 둡니다. 이는 이미지 내의 더 작은 영역을 표적으로 하여, 이웃한 영역 간의 상대적인 대비 관계를 유지하면서 해당 영역 내의 대비를 증폭합니다.

AI 파이프라인의 경우 톤 매핑 및 국소 대비 향상은 감지기로 입력되는 수치적 데이터를 결정짓는 요소이므로 신중하게 관리해야 합니다. 시각적으로 보기에 좋은 설정은 모델 신뢰도를 극대화하거나, 오탐지를 줄이거나, 소형의 표적의 세부 정보를 보존하지 못할 수도 있습니다. Teledyne FLIR OEM의 파이프라인 수준 접근 방식을 사용하면 이러한 이미지 처리 선택 사항을 사용 가능한 SWaP 범위 내에서 ‘신뢰할 수 있는 감지, 추적 및 의사결정 지원’이라는 시스템 최종 목표에 부합하는지 비교하여 평가할 수 있습니다.

10. 결론

딥 러닝, 임베디드 프로세서 및 양산형 AI 배포 도구에서는 놀라운 발전이 이루어졌습니다. 열화상 및 다중 스펙트럼 시스템의 경우 이러한 발전은 중요하지만, 그 자체로는 충분하지 않습니다. 시장은 AI가 에지에서 구동될 수 있는지에 대한 논의를 넘어선 단계로 나아가고 있습니다. 더 중요한 질문은 전체 인지 파이프라인이 까다로운 SWaP, 지연 시간, 대역폭 및 열 제약을 충족하는 동시에 실제 현장에서 신뢰할 수 있고 즉각 실행 가능한 정보를 제공하도록 설계될 수 있는지 여부입니다.

Teledyne FLIR OEM의 장점은 단순히 임베디드 프로세서에서 AI를 실행하는 수준을 뛰어넘습니다. 이는 바로 센서 데이터, 이미지 신호 처리, 모델 설계, 양자화, 런타임 배포, 추적, 메모리 사용, 전력 관리 및 환경 견고성으로 구성된 전체 열 인지 파이프라인을 하나의 통합 시스템으로 최적화하는 능력입니다. 방위, 자율주행, 로보틱스, 산업 자동화, 보안 및 자동차 시스템 전반의 실제 애플리케이션에서 기술적 차별성은 단순히 수치상의 TOPS 또는 일반적인 모델 선택에서 오는 것이 아니라, 이러한 풀 스택 통합에서 비롯되는 것입니다.

따라서 차세대 지능형 열화상 카메라는 센싱 물리학, 컴퓨팅 이미징, 임베디드 AI 및 배포 엔지니어링이 얼마나 조화롭게 통합되는지에 따라 정의됩니다. Teledyne FLIR OEM은 열화상 센서의 전문성, Prism ISP, 애플리케이션 특화형 감지 및 추적 라이브러리, 최신 이기종 프로세서의 소프트웨어 최적화 경험을 결합하여, 고객이 단상적인 에지 AI 시연 단계에서 벗어나 실제 운영 환경에서 작동하는 인지 시스템을 성공적으로 배포할 수 있도록 지원합니다.

[i] https://patentimages.storage.googleapis.com/f5/e3/05/021253fa9a6921/US20220019843A1.pdf

[ii] https://patents.google.com/patent/US20220019843A1/en?oq=17%2f374909

[iii] A Review of Artificial Intelligence in Embedded Systems https://doi.org/10.3390/mi14050897

[iv] https://opencv.org/blog/pytorch-vs-tensorflow/