Distributed Computing Library (dislib)

Una biblioteca clàssica d'aprenentatge automàtic desenvolupada a la part superior de PyCOMPS.

Institució:

Technology

Grup d´investigació:

Workflows and Distributed Computing

Investigador/s:

Rosa Maria Badia, Eduardo Iraola, Fernando Vázquez Novoa, Francesc Lordan, Raül Sirvent, Javier Conejero

Descripció:

dislib encapsula els algoritmes clàssics d'aprenentatge automàtic i d'aprenentatge profund en una abstracció de matriu distribuïda; en temps d'execució, PyCOMPSs particiona les dades i distribueix tasques sobre recursos heterogenis de HPC o de núvol, gestionant de manera transparent conjunts de dades que superen els pressupostos de memòria per node. Això ofereix la portabilitat d'"escriure una vegada, executar-se a qualsevol lloc" destacada per la tendència del model de programació de HPC.

Proposta de valor:

Biblioteca d'aprenentatge automàtic paral·lel que estén les càrregues de treball de Python a clústers complets.

Àrees d'aplicació:

Analítica astrofísica, fluxos de treball de dinàmica molecular, computació urgent per a riscos naturals, fabricació de bessons digitals, enginyeria de característiques a gran escala, entrenament de xarxes neuronals distribuïdes.

Mercat objectiu:

Centres de supercomputació nacionals i regionals que necessiten piles d'aprenentatge automàtic (ML) fàcils d'utilitzar; Proveïdors de núvol d'alta capacitat (HPC) que agrupen serveis de ciència de dades gestionats; R+D industrial (automàtica, farmacèutica, energètica) que construeixen canals d'IA i simulació; Proveïdors de programari independents que afegeixen ML distribuït als productes existents.

Technology Readiness Level (1-9): 7

Protection:

Open source (apache v2)

Més informació

Si vols saber més sobre aquest projecte no dubtis en contactar amb nosaltres

Contacta´ns