SAFEXPLAIN

Las técnicas de aprendizaje profundo (DL) están en el centro de la mayoría de las futuras funciones avanzadas de software en sistemas críticos autónomos basados en IA (CAIS), donde también representan un factor competitivo importante. Por lo tanto, el éxito económico de las industrias CAIS (por ejemplo, automotriz, espacial, ferroviaria) depende de su capacidad para diseñar, implementar, calificar y certificar productos de software basados en DL con un esfuerzo/costo limitado. Sin embargo, existe una brecha fundamental entre los requisitos de seguridad funcional (FUSA) en CAIS y la naturaleza de las soluciones DL. Esta brecha surge del proceso de desarrollo de bibliotecas DL y afecta conceptos de alto nivel como (1) explicabilidad y trazabilidad, (2) idoneidad para diversos requisitos de seguridad, (3) implementaciones compatibles con FUSA y (4) restricciones en tiempo real. De hecho, la naturaleza estocástica y dependiente de los datos de los algoritmos DL choca con la práctica actual de FUSA, que en cambio se basa en software determinista, verificable y basado en pruebas de pasa/falla.

El uso seguro de la IA en sistemas críticos como automóviles, trenes y satélites.

El proyecto SAFEXPLAIN aborda los desafíos proporcionando un enfoque novedoso y flexible que permite la certificación (y por lo tanto la adopción) de soluciones basadas en DL en CAIS basándose en (1) soluciones de DL que brindan trazabilidad de extremo a extremo, con enfoques específicos para explicar si predicciones confiables y estrategias para alcanzar (y probar) el funcionamiento correcto, de acuerdo con los estándares de certificación; (2) patrones de seguridad de diseño alternativos y cada vez más sofisticados para DL con requisitos variables de criticidad y tolerancia a fallas; (3) implementaciones de bibliotecas DL que cumplan con los requisitos de seguridad; y (4) configuraciones de plataformas informáticas, para recuperar el determinismo, y análisis de tiempos probabilísticos, para manejar el no determinismo restante.

Cualquier sistema con requisitos de seguridad (transporte, industrial, médico, etc.).

Liberar el potencial de la IA para el funcionamiento autónomo (por ejemplo, conducción autónoma) preservando al mismo tiempo la seguridad.

Algunas bibliotecas de código abierto (con bibliotecas permisivas) y algún software con licencias comerciales. El software aún está en desarrollo (primeras etapas), por lo que aún no hay protección explícita.

Automoción, espacio, ferrocarril, aviónica, industrias.