Lieu : CDS
Date : lundi 17 octobre 2005 à 14h
Présents : F. Bonnarel, J.-J. Claudon, C. Collet, R. David, S. Genaud, F. Genova, M. Louys, A. Schaaff
Ordre du jour :
Compte-Rendu :
- Pour info, Eric Slezak participe à l'école thématique OV France
d'Obernai et une réunion (hors école) est prévue le lundi 7 novembre
pour discussion.
Le travail a bien progressé durant les derniers mois, le travail de stage Workflow
(Cyril Pestel) a donné naissance à deux librairies (JLOW) Java pour la
gestion des workflow côtés client et serveur. Ces librairies sont
maintenant intégrées dans AÏDA. Ce travail d'intégration et
d'amélioration se poursuit en parallèle des autres travaux à mener
d'ici la fin du projet (mi-juillet 2006 et rapport 2 mois après).
Un poster a été présenté dans le cadre de la conférence ADASS.
AÏDA remplace OTIAM en terme de dénomination.
AÏDA - Astronomical Image processIng Distribution Architecture : démo
AÏDA offrait la possibilité d'exécuter des tâches de traitement d'image
initialement écrites en Matlab. Dans cette première version, une
interface de saisie des paramètres était générée automatiquement au
niveau du client afin de soumettre les paramètres en entrée.
L'architecture de cette version comportait un client Java et un serveur
donnant un accès via CGI aux tâches de traitement.
Depuis le développement de JLOW par Cyril Pestel, AÏDA offre la
possibilité d'exécuter un workflow (enchainement de tâches auparavant
exécutées unitairement).
L'architecture comporte maintenant un moteur d'exécution de
Workflow qui réalise un courtage entre le client et le serveur
AÏDA.
Le stage de Cyril est terminé depuis fin août et des évolutions sont en cours.
Une partie des remarques coincide avec ces évolutions :
- améliorer la visibilité de la progression (couleur, bordure, etc.)
- mettre en évidence les éventuelles erreurs, pousser plus avant la remontée des erreurs
- arborescence des tâches disponibles (déjà
abordée lors des discussions à propos des fichiers
descripteurs)
Autres remarques :
- lancement asynchrone de tâches : certaines tâches peuvent être
très coûteuses en temps et il serait par conséquent intéressant de
lancer l'éxécution d'un workflow et d'y revenir plus tard (à rapprocher
de la dernière réunion André, Jean-Julien et Cyril : identification des
tâches, ...), il faudra déterminer la durée de la conservation des
résultats, etc.
- notion d'espace de travail pour stocker le(s) résultat(s)
: espace privé de l'utilisateur, espace attribué
temporairement, ...
- concepts liés aux grilles : certificats, authentification, ...,
(cf. EGEE), il serait sans doute intéressant de proposer un stage
débutant vers le mois de mars (Action : définir de façon plus fine le sujet)
- équilibrage de charges : un travail sera effectué dans le cadre de l'utilisation du cluster
- ajout d'un bouton pour exécuter un visualiseur VO
(Aladin, VOPlot, etc.), réfléchir à une sortie
VOTable
- parallélisation : pas d'action à ce niveau
JLOW - Java Libraries fOr Workflow : apport dans AÏDA, évolutions possibles
Cyril a terminé sont stage mais il revient travailler ponctuellement au
CDS dans le cadre de vacations, le but étant de fiabiliser les
librairies et d'apporter des évolutions.
L'expérience d'intégration dans AÏDA a mis en évidence la nécessité de
remonter certains traitements au niveau des librairies afin de
simplifier leur intégration
Le travail actuellement en cours consiste à fiabiliser et améliorer conjointement AÏDA et JLOW.
Le travail suivant concerne la montée en charge : plusieurs machines
d'un cluster seront affectées à AÏDA afin d'effectuer les tests
adéquates.
En parallèle, un travail va être mené conjointement avec Eric Slezak et
ses collègues afin de déployer l'architecture AÏDA à Nice.
Dans un premier temps, le but sera d'apporter à Eric une solution pour
la réutilisation du travail effectué dans son équipe (tâches de
traitement d'image en Fortran, ...).
Dans un second temps, des modifications seront apportées à
l'architecture afin de prendre en compte, au niveau du client,
l'existence de plusieurs serveurs AÏDA.
L'objectif final étant de construire des workflow constitués de tâches disponibles sur plusieurs serveurs.
Action à mener : réfléchir avec Eric à au moins un exemple de workflow de ce type