EN CONSTRUCTION

Distribution d'une tâche de cross-match sur le cluster du CDS

Cette page résume le travail entrepris pour distribuer une application de cross-identification sur un cluster de PC

Architecture générale

Client
Servlet Java traite les paramètres d'entrée
Si catalogues petits --> traitement au niveau de la servlet
Sinon, calcul des indices qbox et distribution sur un ensemble de machines

Découpage des catalogues à cross-identifier

QBox est utilisé pour découper chaque catalogue.

Mise en place de l'exécutable sur une machine du cluster

Se connecter sur la machine admin (130.79.129.202), et entrez :
sudo bash
testimage -e -n worker -N wali11 --postinstall-script "ali -n worker restart"

Se placer dans /root/bin/test/

Rapatrier l'exécutable, et le JAR correspondant (si nécessaire).

Vérifier que le fichier est bien exécutable (chmod +x)

Puis quitter (exit), ce qui lancera l'update de la machine.

La nouvelle tâche doit apparaître sur le moniteur : http://cds.u-strasbg.fr/perl/workers2.pl?refresh=10&show_ip=unchecked&show_items=checked&mali_name=sali1&mali_port=6061

Lancement des tâches des workers

Prérequis

Les exécutables ali_submitter et communicator sont requis. L'installation (./configure , make clean , make , make install ) les met dans /usr/local/bin par défaut
Ces exécutables doivent être dans le PATH de l'utilisateur.

La machine cliente doit être ajouté dans la liste des machines autorisées à se connecter au cluster.

API Java

Cyril a développé un wrapper Java (cf. classes Submitter et JMJob) permettant la soumission de jobs sur le cluster.

Exemple :

        String filename = "segm-aida-jobmaker.ali";
        String server = "sali1";
        
        Submitter submitter = new Submitter(System.getProperty("user.dir"),1);
        JMJob job = JMJob.createJob(System.getProperty("user.dir"), filename);
        System.out.println(submitter.submit(job,server));

-- ThomasBoch - 06 Sep 2007