SAFEXPLAIN

Les tècniques d'aprenentatge profund (DL) es troben al cor de la majoria de les funcions de programari avançades del futur en sistemes crítics basats en IA autònoms (CAIS), on també representen un factor competitiu important. Per tant, l'èxit econòmic de les indústries CAIS (per exemple, l'automoció, l'espai, el ferrocarril) depèn de la seva capacitat per dissenyar, implementar, qualificar i certificar productes de programari basats en DL sota un esforç/cost limitat. Tanmateix, hi ha una bretxa fonamental entre els requisits de seguretat funcional (FUSA) sobre CAIS i la naturalesa de les solucions de DL. Aquesta bretxa prové del procés de desenvolupament de biblioteques DL i afecta conceptes d'alt nivell com ara (1) explicabilitat i traçabilitat, (2) adequació per a diferents requisits de seguretat, (3) implementacions compatibles amb FUSA i (4) restriccions en temps real. . De fet, la naturalesa estocàstica i dependent de les dades dels algorismes de DL xoca amb la pràctica actual de FUSA, que es basa en un programari basat en proves determinista, verificable i d'aprovació/falla.

L'ús segur de la IA en sistemes crítics com ara cotxes, trens i satèl·lits.

El projecte SAFEXPLAIN aborda els reptes proporcionant un enfocament nou i flexible per permetre la certificació, i per tant l'adopció, de solucions basades en DL a CAIS basant-se en (1) solucions DL que proporcionen traçabilitat d'extrem a extrem, amb enfocaments específics per explicar si es poden confiar en les prediccions i les estratègies per assolir (i demostrar) el funcionament correcte, d'acord amb els estàndards de certificació; (2) patrons de seguretat de disseny alternatius i cada cop més sofisticats per a DL amb diferents requisits de criticitat i tolerància a fallades; (3) Implementacions de biblioteques DL que compleixin els requisits de seguretat; i (4) configuracions de plataformes de càlcul, per recuperar el determinisme, i anàlisis de temps probabilístics, per gestionar el no determinisme restant.

Qualsevol sistema amb requisits de seguretat (transport, industrial, mèdic, etc.).

Allibera el potencial de la IA per al funcionament autònom (per exemple, la conducció autònoma) alhora que es manté la seguretat.

Algunes biblioteques de codi obert (amb biblioteques permissives) i algun programari amb llicències comercials. El programari encara s'està desenvolupant (etapes inicials), de manera que encara no hi ha protecció explícita.

Automoció, espai, ferrocarril, aviònica, indústries.