Distributed Computing Library (dislib)

Una biblioteca clásica de aprendizaje automático desarrollada sobre PyCOMPS.

Institución:

Technology

Grupo de investigación:

Workflows and Distributed Computing

Investigador/es:

Rosa Maria Badia, Eduardo Iraola, Fernando Vázquez Novoa, Francesc Lordan, Raül Sirvent, Javier Conejero

Descripción:

dislib encapsula algoritmos clásicos de aprendizaje automático y aprendizaje profundo en una abstracción de matriz distribuida; en tiempo de ejecución, PyCOMPSs particiona los datos y distribuye las tareas entre recursos heterogéneos de computación de alto rendimiento (HPC) o en la nube, gestionando de forma transparente conjuntos de datos que superan los límites de memoria por nodo. Esto proporciona la portabilidad de "escribir una vez, ejecutar en cualquier lugar", característica de la tendencia del modelo de programación en HPC.

Propuesta de valor:

Biblioteca de aprendizaje automático paralelo que extiende las cargas de trabajo de Python a clústeres completos.

Áreas de aplicación:

Análisis astrofísico, flujos de trabajo de dinámica molecular, computación de emergencia para desastres naturales, fabricación de gemelos digitales, ingeniería de características a gran escala, entrenamiento distribuido de redes neuronales.

Mercado objetivo:

Centros de supercomputación nacionales y regionales que necesitan plataformas de aprendizaje automático fáciles de usar; Proveedores de computación de alto rendimiento en la nube que ofrecen servicios gestionados de ciencia de datos; I+D industrial (automoción, farmacéutica, energía) que desarrollan sistemas de IA y simulación; Proveedores de software independientes que añaden aprendizaje automático distribuido a sus productos existentes.

Technology Readiness Level (1-9): 7

Protection:

Open source (apache v2)

Más información

Si quieres saber más sobre este proyecto no dudes en contactarnos

Contáctanos