Considerazioni sulla progettazione di sensori termici a infrarossi per la difesa contro i droni

Scarica la versione PDF

Riepilogo operativo

L'uso di droni di piccole dimensioni e a basso costo si è rapidamente ampliato in ambienti militari e di pubblica sicurezza, creando un'urgente necessità di soluzioni efficaci per sistemi aerei senza pilota (C-UAS). Questo documento descrive come i sensori EO/IR costituiscono la spina dorsale della catena di uccisione dei C-UAS e confronta i compromessi tra sistemi di imaging a basso costo e architetture multi-sensore ad alte prestazioni. Evidenzia le sfide del rilevamento a lungo raggio, dove i droni possono apparire solo in pochi pixel e le prestazioni sono limitate dal rapporto segnale/rumore (SNR). Il documento sottolinea anche i limiti del classico rilevamento di oggetti basato su MTI e IA ai margini della visibilità. Infine, sottolinea il ruolo essenziale dell’elaborazione avanzata del segnale di immagine (ISP) nel miglioramento dell’SNR, nella stabilizzazione dei bersagli a basso contrasto e nell’estensione dell’intervallo di rilevamento e tracciamento efficace.

Introduzione e sfondo

La minaccia dei droni sta emergendo in scenari tattici e di pubblica sicurezza. La proliferazione di droni piccoli, economici e manovrabili è una grande sfida sia per i pianificatori militari che per la protezione delle vulnerabilità pubbliche, commerciali e industriali. Non è iperbole affermare che c'è una corsa tra droni offensivi e soluzioni C-UAS.

L'imaging elettro-ottico (EO) e termografico (IR) è diventato una tecnologia fondamentale per il rilevamento e il tracciamento dei droni. Per eseguire un'analisi costi/benefici, gli sviluppatori devono comprendere lo spazio commerciale dei sistemi C-UAS, tra cui limitazioni della portata di rilevamento, capacità del sistema radar, elaborazione del segnale di immagine, processori integrati e modelli di intelligenza artificiale (IA). Sebbene ogni sistema di difesa aerea sia sviluppato contro una specifica serie di minacce aeree, le loro catene di uccisione sono tutte tipicamente costituite da tre complessi sottosistemi: Sistemi di sensori, sistema di comando e sistemi di manipolazione.

Figura 1. Processo C-UAS per rilevare, tracciare, identificare e neutralizzare i droni

La guerra russa-ucraina è diventata un crogiolo per l'innovazione dei droni, accelerando le capacità e le tattiche dei droni. Sebbene i sistemi di sconfitta come il blocco radio, il blocco del segnale GPS e gli effettori cinetici siano implementati lungo le linee di battaglia, questi sistemi sono costosi e hanno un’implementazione limitata nelle applicazioni di pubblica sicurezza.

Sistemi di imaging EO/IR per il rilevamento di droni

I sensori elettro-ottici (EO) offrono ottiche ad alta risoluzione e lunghezza focale appropriata. I sensori a infrarossi passivi (IR) sono sensibili alle emissioni di fotoni termici invece che alla luce visibile, rendendo l'IR ideale per le operazioni 24/7. Le termocamere EO hanno una risoluzione angolare più elevata, che si traduce direttamente in pixel sul bersaglio: si tratta di un parametro di sistema critico per il rilevamento precoce dei droni. Tuttavia, l'SNR dei pixel EO su un piccolo drone è spesso basso a causa del contrasto limitato contro uno sfondo del cielo. Le termocamere possono spesso rilevare il movimento di un drone rappresentato da un cluster di 2x2 pixel, dato lo sfondo freddo del cielo. Inoltre, gli indizi di classificazione, tra cui la forma, i modelli di movimento e le firme termiche, aiutano l’IR a distinguere i droni da uccelli, aeromobili e disordine per ridurre al minimo i falsi positivi, che spesso riducono l’efficacia dei sistemi di imaging.

Considerazioni sulla progettazione della soluzione C-UAS

I sistemi di rilevamento C-UAS rientrano in due categorie separate di costi e prestazioni: costi inferiori e prestazioni elevate. I sistemi di rilevamento a basso costo e solo imaging con distanza di rilevamento <1000 metri integrano sensori non raffreddati eo e longwave ir lwir con obiettivi a lunghezza focale fissa e hanno un costo compreso tra 50.000 e 150.000. questi sistemi sono tipicamente limitati a un campo visivo fisso fov o a una scansione orizzontale da 90 a 180 gradi utile per il monitoraggio perimetrale. i sistemi di rilevamento multisensore avanzati e ad alte prestazioni con portata>1000 metri incorporano telecamere EO e Midwave IR (MWIR) raffreddate con ottiche e radar a zoom continuo (CZ). Questi sistemi hanno un costo compreso tra 150.000 e 1 milione di dollari e possono essere configurati per fornire un FOV completo a 360 gradi per la massima consapevolezza del contesto.

Le soluzioni C-UAS a basso costo includono tipicamente quanto segue:

• Termocamere EO e LWIR non raffreddate con ottica a lunghezza focale lunga o zoom
• Montaggio fisso o pan/tilt
• Computer integrato per il rilevamento e il tracciamento di oggetti
• Sconfiggi sistema, tipicamente inceppamento RF

Le soluzioni C-UAS ad alte prestazioni includono tipicamente quanto segue:

• Termocamere EO e MWIR raffreddate con ottiche CZ a lungo raggio
• Gimbal Pan and tilt o stabilizzato su piattaforme fisse o mobili con pali estensibili
• Unità radar ad alta risoluzione e ad ampia area utilizzate per la rotazione della termocamera
• Sensori acustici
• Basato su server o PC
• Sistemi di manipolazione – tutti i tipi, compresa la cinetica

Figura 2. C-UAS a basso costo

Quando si sceglie una termocamera EO, è necessario prendere in considerazione molte specifiche: colore rispetto a monocromatica, risoluzioni fino a 200MP e rotazione rispetto a otturatore globale. Esistono scambi a livello di sistema per la frequenza di pixel, l'elaborazione del segnale edge embedded, la velocità di bit, la sensibilità e la selezione dell'obiettivo. I sistemi EO forniscono una risoluzione da 2 a 8 volte superiore e pixel sul bersaglio rispetto a una termocamera, ma le prestazioni del campo di rilevamento sono una funzione di SNR.

Figura 3. LWIR fisso 73 mm (sinistra), LWIR CZ 14-75 mm (centro), MWIR CZ 15-300 mm (destra)

Quando si seleziona una termocamera LWIR non raffreddata, la maggior parte dei sistemi specifica un sensore a risoluzione 640x512 con una sensibilità termica inferiore o uguale a (≤)20 millikelvin (mK) e ottiche rapide specificate da un numero f compreso tra ƒ0,9 e ƒ1,4. Ciò si traduce in un'apertura dell'obiettivo (diametro) quasi uguale alla lunghezza focale, ma esiste un limite pratico di dimensioni alle lunghezze focali e agli intervalli di zoom più lunghi. Esiste anche un punto di crossover dei costi da LWIR non raffreddato a MWIR raffreddato a lunghezze focali superiori a circa 250 mm.

Gli odierni sistemi MWIR incorporano refrigeratori compatti a ciclo chiuso con tempo medio di guasto (MTTF) fino a 27.000 ore che funzionano a bassa potenza. Poiché questa tecnologia del sensore è molto più sensibile del LWIR non raffreddato, è possibile utilizzare ottiche fino a ƒ5,5, consentendo lunghezze focali superiori a 1000 mm mantenendo il gruppo obiettivo a dimensioni e costi gestibili. Gli odierni sensori MWIR raffreddati hanno pixel da 8 micron con risoluzioni fino a 1280x1024 e sensibilità di 30 mk.

Indicazione target mobile EO/IR a SNR basso

I sistemi C-UAS EO/IR utilizzano algoritmi MTI (Moving Target Indication) come prima fase, utilizzando tecniche tra cui la differenza di frame o la differenza temporale e la sottrazione di sfondo. Vicino al limite di rilevamento, il rumore è indistinguibile dal movimento e le fluttuazioni del rumore a livello di pixel possono sembrare piccoli oggetti in movimento da un fotogramma all’altro, specialmente in condizioni di alto guadagno o scarsa illuminazione. I movimenti dello sfondo, tra cui fogliame in movimento, nuvole, acqua, luccichio di calore e ombre, generano un “falso movimento”. L'aumento delle soglie di rilevamento mantiene gestibili i falsi positivi, ma può sopprimere in modo sproporzionato i veri rilevamenti ai margini della visibilità.

Figura 4. Esempio grafico SNR

I rilevamenti MTI sono soggetti a falsi positivi significativi. È buona norma accumulare i rilevamenti MTI e quantificarli in una gerarchia. L'utente può quindi determinare la sensibilità del sistema rispetto ai rilevamenti precoci e ai falsi positivi accettabili. La termocamera produce molti "blob" o micro-track rumorosi che devono essere confermati. Durante il funzionamento, MTI al limite di rilevamento spesso funge da generatore candidato per un rilevatore di oggetti IA e un rilevatore di target.

Rilevamento e tracciamento di bersagli con rilevatori di oggetti EO/IR

I rilevatori di oggetti basati su IA e deep learning sono ampiamente utilizzati per il rilevamento di droni nei sistemi video EO/IR e possono seguire la stessa ontologia delle classi di rilevamento, riconoscimento e identificazione della percezione umana. Incorporano l'estrazione di funzionalità multi-scala:

• Rilevazione (>10x10 pixel): Classificatori generalizzati (drone vs. uccello vs. aereo) e localizzazione (riquadro di delimitazione) per bersagli di piccole e grandi dimensioni in base a dati di addestramento limitati
• Riconoscimento (~20x10 pixel): Classificatori a grana fine per classi target come quadcottero, drone ad ala fissa e aeromobili ISR aerei
• Identificazione (~30x20 pixel): Classificatori a grana fine basati su ampi dati di addestramento ad alta risoluzione di lezioni specifiche per l’applicazione, come Shahed, marca e modello quadcopter e bersagli di loitering ad ala fissa

Figura 5. Pipeline video per il rilevamento di droni

Limiti di rilevamento per EO/IR

Per i droni a lungo raggio, le prestazioni EO/IR sono spesso limitate da SNR e risoluzione, costringendo il sistema a funzionare vicino al limite di rilevamento. Per un piccolo quadcottero o un drone ad ala fissa, le dimensioni angolari a lungo raggio possono essere solo pochi pixel o persino sub-pixel. A quel punto, le dimensioni apparenti del drone sono paragonabili o inferiori alla funzione di diffusione del punto (PSF) dell'ottica. Gli effetti atmosferici, tra cui dispersione, foschia e turbolenza, possono ridurre ulteriormente il contrasto e introdurre sfocatura casuale. Le condizioni di limite di rilevamento spesso corrispondono a:

• SNR: SNR basso (1–3) a livello di pixel o di piccole dimensioni
• Area: Area apparente molto piccola (<20 pixel>
• Sfondo: Visibilità intermittente mentre il drone attraversa sfondi complessi, ad esempio alberi, edifici, nuvole, ecc.

La maggior parte dei rilevatori di oggetti si degrada gravemente quando l'oggetto è al di sotto di circa 10×10 pixel. A 3×3 o fino a 5×5 pixel, la rete ha pochissimo dettaglio, gli indizi di forma sono limitati, la texture è inesistente e rimane solo il movimento/contrasto macroscopico. Se la formazione sulla rete non include bersagli molto piccoli e rumorosi, il rilevatore perderà i bersagli o produrrà output instabili. I rilevatori addestrati utilizzando immagini diurne pulite, sfondi specifici e bersagli con forte contrasto possono essere particolarmente messi alla prova o guastarsi in condizioni di scarsa illuminazione o di notte, foschia o umidità e variazioni di sfondo, ad esempio, deserto rispetto a città rispetto a mare.

Al limite del rilevamento, qualsiasi discrepanza tra la distribuzione della formazione e dell'implementazione viene ingrandita. Le pratiche di etichettatura e annotazione dei dati di formazione sono molto importanti per obiettivi molto piccoli. L'annotazione manuale può essere soggetta a errori. I riquadri di delimitazione potrebbero non allinearsi con il bersaglio reale e potrebbero non rilevare i bersagli interamente all'intervallo estremo. Questo introduce il rumore delle etichette che può confondere il rilevatore e limitare la sua capacità di apprendere le distinzioni sottili a basso SNR.

Inoltre, i dati di addestramento raramente includono esempi di droni piccoli e fortemente sfocati; la maggior parte delle reti CNN è orientata verso bersagli nitidi o moderatamente sfocati. Il movimento sfocato e della telecamera sono importanti vincoli per il rilevamento di droni EO/IR, specialmente a lungo raggio o su piattaforme in movimento. Le tubazioni di tracciamento per rilevamento si basano su rilevamenti coerenti in posizione e dimensioni. La sfocatura causa jitter e variabilità delle dimensioni, interrompendo l'associazione dei dati. I tracker classici, ad esempio le funzionalità KLT o la corrispondenza dei modelli, hanno difficoltà quando l'aspetto interno del modello cambia drasticamente a causa della direzione e dell'ampiezza dell'effetto mosso.

Figura 6. Simulazione sintetica EO/IR con ali fisse e quadricotteri a portata di mano

Per migliorare le prestazioni, i team di sviluppo possono utilizzare l’aumento dei dati, tra cui ridimensionamento, iniezione del rumore, sfocatura e modifiche dell’illuminazione. La formazione sui dati sintetici consente di realizzare modelli di droni in sfondi realistici ed esempi negativi di uccelli, aerei e disordine. I rilevatori multi-frame o track-aware possono essere utilizzati utilizzando sequenze anziché singoli frame.

Elaborazione segnale immagine EO/IR

ISP per sistemi di termocamere EO/IR si riferisce al set di algoritmi e funzioni hardware che convertono i dati grezzi dei sensori in immagini utilizzabili e di alta qualità che supportano il rilevamento, il riconoscimento, l’identificazione, la misurazione e il processo decisionale automatizzato. Nei sistemi EO/IR, in particolare nelle termocamere IR, l'uscita grezza dal focal plane array (FPA) è rumorosa, non lineare e non corretta. ISP trasforma questi dati grezzi in immagini stabili, calibrate e visivamente ottimizzate in tempo reale. Le prestazioni e l’affidabilità di SNR e di rete dipendono dalla qualità dell’ISP per migliorare il rilevamento, il riconoscimento e l’identificazione dei bersagli (DRI). Teledyne FLIR OEM ha sviluppato algoritmi ISP IR per migliorare l’SNR e ai limiti di rilevamento (~2x1,5 pixel) che aumentano la portata per avviare il tracciamento dei droni fino al 20%. Per saperne di più, visita www.oem.flir.com/prism-family.

Figura 7. Esempio di super risoluzione ISP OEM di Teledyne FLIR