Difference: LouisDemange (44 vs. 45)

Stage de Louis Demange - IUT Charlemagne - [27/04/20 au 3/07/20]

• Développement d'outils d'analyse sémantique pour la description des tables en astronomie (UCD Builder)

• Arrivée (télétravail, sur le workspace Rocket.Chat)

• Découverte des outils des documentalistes pour les UCDs
• Première visioconférence avec Sébastien et Gilles
• Découverte de ElasticSearch
• Découverte de TWiki
• Création de mon compte GitLab (@LouisDemange)

• Présentation et démonstration de VizieR par Gilles Landais ( pdf)

• Visioconférence avec Sébastien et Gilles pour étudier VizieR plus en profondeur
• Apprentissage des bases du language PERL pour étudier les outils existant (Cheat Sheet)

• Présentation et démonstration de l’observatoire virtuel par André Schaaff (pdf)
• Étude des vieux outils existant en PERL
• Présentation de Simbad par Anaïs Oberto (pdf)

• Étude des vieux outils existant en PERL
• Étude de structure de donnée pour les règles de recherche d’UCD

04/05 :

• Visioconférence avec Emmanuelle Perret pour voir en détail comment travail les documentalistes (pdf)
• Recherche de technique d’extraction de mots-clés (RAKE: Rapid Automatic Keyword Extraction)
• Visioconférence avec Gilles pour parler du fichier de description des UCD1+ et librairie python nltk

05/05 :

• Étude du format YAML pour les descriptions d’UCD
• Début de l’écriture du script, gestion des arguments
• Implémentation de l’extraction de mots-clés

06/05 :

• Présentation d’Aladin par Thomas Boch (pdf)
• Implémentation de la lemmatisation avec WordNet
• Parser pour le fichier yaml

07/05 :

• Présentation de l'infrastructure informatique de l'Observatoire (Datacenter) par Christophe Saillard (pdf)
• Fonction de recherche dans la liste d’UCD avec les mots-clés et de calcul du score

11/05 :

• Test sur l’ancien code pour mieux le comprendre
• Parser pour l’ancien fichier

12/05 :

• Présentation du métier de documentaliste par Evelyne Son (pdf)
• Travail sur le fichier de description des UCDs et la recherche par mots-clés

13/05 :

• Ajout de la recherche par expression régulière
• Ajout de la recherche par intervalle (nombres entiers et décimaux)
• Reprise à zéro du fichier de description des UCDs sur la base de la dernière norme de l’IVOA

14/05 :

• Option pour prendre en compte les majuscules dans les comparaisons (ignoré par défaut)
• Recherche de solutions pour accélérer la lemmatisation
• Écriture de la doc des fonctions

15/05 :

• Démo de la première version à Gilles et Sébastien
• Présentation du métier d’astronome par Sébastien Derriere (pdf)
• Recherche de solutions techniques pour les UCDs photométrique avec leur longueur d’onde

18/05 :

• Création du dépôt GitLab
• Amélioration de l’extraction de mots-clés (meilleurs traitements des majuscules)
• Option pour ignorer complètement les majuscules

19/05 :

• Utilisation de la classe logging pour les logs
• Refactorisation (class et main) pour pouvoir être utilisé comme un module

20/05 :

• Amélioration de la lemmatisation
• Changement de la gestion des mots-clés groupés

• Définition des UCDs du spectre électromagnétique (em.*) dans le fichier de définition
• Écriture d’un tableur de conversion entre fréquences, longueur d’ondes, et énergies

• Méthode de conversion entre unités
• Écriture de tests pour la conversion d’unités
• Modification du chargement des définitions pour prendre en charge les intervalles des UCDs em.*

• Implémentation de la recherche avec intervall et entre unités

• Présentation et démonstration d’Elasticsearch par Gilles Landais (pdf)

• Refactorisation des classes dans des fichiers séparé pour la lisibilité
• Correction de définition d’UCD incohérente

• Modification de certaines définitions
• Première version fonctionnelle

• Écriture d’un script de test général

• Séminaire sur la restauration et digitalisation du globe de Coronelli et pré-soutenance de Odile Mallet
• Amélioration de plusieurs définitions
• Modification de la prise en compte des majuscules pour les comparaisons de mots-clés

• Méthode pour analyser les indices de couleur
• Amélioration de plusieurs définitions

• Modification de la méthode de recherche d’UCDs par mots-clés pour préserver l’ordre de la description
• Modification de la structure des définitions
• Tests et amélioration des définitions

• Ajout de la possibilité de faire une définition avec un groupe de mots-clés
• Implémentation de la recherche par groupe
• Mise à jour de la documentation
• Révision des définitions des UCDs arith, em, instr, meta et obs

• Amélioration de l’UCD builder avec le score des UCDs

• Révision des définitions des UCDs phot, phys et autres

• Amélioration de l’UCD builder

• Révision des définitions des UCDs pos, spect et src

• Révision des définitions des UCDs stat et time
• Amélioration de l’UCD builder

• Visioconférence avec Sébastien, Gilles et Emmanuelle

• Création d’un serveur avec HTTPServer pour utiliser le programme comme une API REST
• Ajout d’une méthode de recherche d’UCD sans prendre en compte les mots-clés requis (liste exhaustive)

• Modification des paramètre par défaut et des routes de l’API
• Implémentation d’une recherche de filtre plus avancé avec VizieR et la table METAfilter

• Amélioration de la recherche avec METAfilter
• Implémentation d’une recherche d’UCD avec l’API ES de VizieR

• Amélioration de la recherche avec l’API ES de VizieR
• Visioconférence avec Sébastien et Gilles

• Rédaction du rapport de stage

• Ajout de plus de nom d’unité dans le convertisseur

• Découverte de Docker avec Gilles
• Création d’une image pour le service UCD Finder

• Présentation de mon travail au CDS
• Amélioration de la réponse pour la recherche dans VizieR
• Papier pour le CDD

• Expérimentation avec Elasticsearch
• Ajout de la config Docker

• dépôt Git http://cdsgit.u-strasbg.fr/LouisDemange/ucd-finder

Documentation

cf. README sur GitLab

Liste des améliorations à envisager

• Interface Web
• Interface pour terminal
• Parser pour fichier ReadMe de VizieR

• Validation des UCDs de VizieR
• Parsing de certain nom de filtre avec des caractères spéciaux comme "H2(1-0)c"