Institució:
Autosubmit
Gestor de flux de treball basat en Python per crear, gestionar i supervisar tasques complexes que impliquen diferents subpassos, com ara experiments computacionals científics.
Grup d´investigació:
Models and Workflows Team
Investigador/s:
Daniel Beltran, Miguel Castrillo, Kim Serradell, Francisco Javier Doblas Reyes, Domingo Manubens, Oriol Mula, Wilmer Uruchi
Web:
https://earth.bsc.es/gitlab/es/autosubmit
Descripció:
Autosubmit és un gestor de flux de treball lleuger dissenyat per satisfer les necessitats de recerca climàtica. A diferència d'altres solucions de flux de treball del domini, integra les capacitats d'un gestor d'experiments, un orquestrador de flux de treball i un monitor en una aplicació autònoma. El gestor d'experiments permet definir i configurar experiments, recolzat per una base de dades jeràrquica que garanteix la reproductibilitat i la traçabilitat. L'orquestrador està dissenyat per executar fluxos de treball complexos en mode d'investigació i operatiu mitjançant la gestió de les seves dependències i la interfície amb amfitrions locals i remots. Aquests fluxos de treball multiescala poden implicar des d'uns quants a milers de passos i d'una a diverses plataformes.
L'enviament automàtic facilita la integració i la reubicació fàcils i ràpides en noves plataformes. D'una banda, els usuaris poden executar ràpidament scripts generals i parametritzar-los progressivament llegint variables d'enviament automàtic. D'altra banda, és una aplicació d'escriptori autònoma capaç d'enviar treballs a plataformes remotes sense cap desplegament extern.
A causa de la seva robustesa, pot gestionar diferents eventualitats, com ara errors de xarxa o d'E/S. Finalment, les capacitats de supervisió s'estenen més enllà de l'aplicació d'escriptori mitjançant una API REST que permet la comunicació amb eines de monitorització de flux de treball com la GUI web d'enviament automàtic.
L'enviament automàtic és un paquet Python proporcionat a PyPI. Les receptes de Conda també es poden trobar al web. També hi ha disponible una versió en contenidors per a proves, però encara no és pública.
Ha contribuït a diversos projectes de recerca europeus i gestiona diferents sistemes operatius. Durant els anys següents, donarà suport a alguns dels bessons digitals de la Terra com l'oceà bessó digital.
Concretament, actualment s'utilitza al Barcelona Supercomputing Center (BSC) per executar models (EC-Earth, MONARCH, NEMO, CALIOPE, HERMES...), cadenes d'eines operatives (S2S4E), fluxos de treball de descàrrega de dades (ECMWF MARS) i molts altres. Autosubmit ha executat aquests fluxos de treball en diferents superordinadors a BSC, ECMWF, IC3, CESGA, EPCC, PDC i OLCF.
Problema:
N/A
Solució:
N/A
Àrees d'aplicació:
N/A
Novetat:
N/A
Protecció:
GPL License (Version 3.0)
Mercat objectiu:
N/A
Keywords:
informàtica distribuïda, clima
TRL: N/A
CRL: N/A
BRL: N/A
IPRL: N/A
TmRL: N/A
FRL: N/A
Més informació
Si vols saber més sobre aquest projecte no dubtis en contactar amb nosaltres