L’equip de Workflows and Distributed Computing del Barcelona Supercomputing Center – Centro Nacional de Supercomputación (BSC-CNS) -un dels grups de recerca que formen part de la nostra xarxa- presenta dislib 1.0.0 (Distributed Computing Library). Aquesta eina proporciona algorismes distribuïts llestos per utilitzar, amb un fort enfocament en machine learning i, més recentment, en l’entrenament distribuït de xarxes neuronals. El seu objectiu principal és facilitar l’execució de fluxos de treball d’analítica de big data en plataformes distribuïdes com clústers, núvols i supercomputadors. dislib està implementada sobre el model de programació PyCOMPSs, el binding de Python de COMPSs.
dislib es basa en una estructura de dades distribuïda, el ds-array, que permet l’execució paral·lela i distribuïda de mètodes de machine learning. La biblioteca està implementada com una aplicació PyCOMPSs, on els mètodes es defineixen com a tasques i s’executen transparentment en paral·lel. Com a resultat, els usuaris poden escriure scripts senzills en Python sense haver de gestionar els detalls de la paral·lelització, mitjançant una interfície estretament alineada amb scikit-learn. dislib proporciona mètodes per a clustering, classificació, regressió, descomposició, selecció de models, entrenament de xarxes neuronals i gestió de dades.
Des de la seva creació, dislib s’ha aplicat en diversos casos d’ús reals, incloent-hi astrofísica (DBSCAN amb dades de la missió GAIA), fluxos de treball de dinàmica molecular (Daura i PCA dins del BioExcel CoE) i múltiples aplicacions en el projecte eFlows4HPC, com computació urgent per a riscos naturals, bessons digitals per a fabricació i entrenament distribuït de xarxes neuronals. En el projecte AI-SPRINT també s’ha utilitzat per a atenció sanitària personalitzada en la detecció de fibril·lació auricular mitjançant models Random Forest.
dislib 1.0.0 inclou refinaments addicionals, exemples actualitzats i una nova guia d’usuari. El codi és open source i està disponible per descarregar.
Aquesta és una de les tecnologies que es poden trobar al Portfoli de X4HPC, disponible a la web.
________________________________________
El grup de Workflows and Distributed Computing del BSC té com a objectiu oferir eines i mecanismes que permetin compartir, seleccionar i agregar una àmplia varietat de recursos computacionals distribuïts geogràficament de manera transparent. La recerca desenvolupada per aquest equip es basa en l’experiència prèvia del grup i l’estén cap als aspectes de computació distribuïda que poden beneficiar-se d’aquesta experiència. L’equip del BSC manté un fort enfocament en models de programació i en la gestió i planificació de recursos en entorns de computació distribuïda.
Compartir