Réunion du 21/11/2023

Présents : Sébastien D., Gilles L., Giacomo M., Pierre O., Emmanuelle P., François-Xavier P., Alicia V., Patricia V.

Pour rappel, les OJ et notes des (précédentes) réunions se trouvent sur : https://docs.google.com/document/d/1wKv7FeKg_jzyGdXp1eYMLBV7wWUK-rpGsnOg9lc34B0/edit

Présentation du nouvel outil setUCD+ par Alicia

Les commandes

La commande setUCD+ dans le répertoire d'un catalogue génère et ouvre un fichier texte dans VI qui s'appelle .setUCD+.ucd
Il y a en en-tête quelques rappels de commandes.
Une doc plus détaillée sera disponible (avant le départ d'Alicia...) dans le README du dépôt Git : https://gitlab.cds.unistra.fr/vizier/vizier2.ucd

Pour chaque colonne de chaque table, on a un paragraphe avec le rappel du label de la colonne, unité et définition et la manière dont l'ucd proposé est trouvé.

Par exemple, pour le catalogue J/ApJS/253/46 :

Les >>>> indiquent les UCDs validés automatiquement (en vert ici), si cette ligne n'est pas présente, on peut choisir un UCD parmi une liste de propositions grâce à la commande shift+yy (pour appliquer l'ucd choisi à l'ensemble des colonnes du même label) ou shift+yo (pour appliquer l'ucd sur la colonne courrante uniquement).
On peut également compléter/corriger un UCD en écrivant directement par-dessus.
Si l'UCD n'est pas dans la liste de choix proposés, on utilise :UCD (ou :UCDo) pour écrire/copier l'ucd voulu.

Une autre commande pratique : Search suivi d'un nom va afficher l'ensemble des ucd1+/définitions du fichier UCD1+.def (voir un exemple de ce fichier ci-après) qui contiennent le terme recherché.

La dernière colonne indique la manière dont l'ucd est choisi :

• "UCD1 translator (UCD1)" : il y a déjà un \vizUCD avec un UCD1 dans le .status et la traduction de ce dernier dans le fichier des correspondances UCD1/ucd1+ reprises de VizieR est combiné avec les résultats de l'UCD-finder pour proposer un ucd1+
• "automatic rule" : l'ucd1+ est proposé via un programme Python inspiré du programme Rust de F.-X. (basé sur les traductions les plus fréquentes des labels dans VizieR) -- n'est utilisé que quand un seul ucd1+ correspond au label.
• ". status" : l'ucd1+ vient directement du .status (ajouté à la main via \vizUCD)
• "UCD-finder" : proposition de l'UCD Finder ; normalement même outil que celui en ligne ici : https://cds.unistra.fr/ucd-finder/beta/

Pour l'instant, les UCDs sélectionnés sont écrits dans le fichier .status_ucd du répertoire. Cela sera également le cas pour la prochaine phase d'usage puisque l'outil est opérationnel et devra servir pour les prochains catalogues.

A terme, l'ensemble des UCDs sera recopié directement à la fin du fichier .status (et non plus dans .status_ucd). Cela permettra d'avoir l'ensemble des UCDs choisis en cas de réingestion du catalogue et, dans le cas d'une correction de l'UCD, on pourra directement corriger les \vizUCD dans le .status.

N.B. : une fois le fichier complété et enregistré/quitté pour avoir les différents UCDs, si on veut compléter/corriger, il vaut mieux rouvrir le fichier .setUCD+.ucd (pour avoir accès aux commandes) ou .status (pour modifier directement les \vizUCD à la main) plutôt que de relancer une commande setUCD+ qui n'affichera alors plus que des origines ".status"...

Les mises à jour des règles de traduction et ucd1+

Cette commande est donc opérationnelle, le point d'amélioration désormais concerne les règles de traduction afin d'avoir dans la liste des termes proposés (ou directement sélectionné), le bon UCD !

Le fichier avec les règles de traduction se trouve à la racine de cats, dans le répertoire vizier/ucd-finder/data :
il s'agit du fichier UCD1+.def

• Screenshot d'un extrait du fichier UCD1+.def:
  

Les documentalistes pourront modifier les règles de traduction. Principalement en :

• ajoutant un mot-clef qui permettrait de trouver plus facilement un UCD
• supprimant un mot-clef qui permettrait d'ignorer une traduction
• modifiant le score d'un mot-clef pour ajouter +/- de poids à celui-ci.

Par exemple, nous avons vu que pour une explication de type "Source count rate", l'ucd1+ "phot.count" n'était pas proposé à cause du mot "Source" qui était indiqué dans la règle comme mot-clef interdit via le point d'exclamation.

Petit rappel de la syntaxe des règles :

• !terme : le mot "terme" dans l'explication est interdit et exclut l'ucd correspondant de la traduction/choix de proposition
• *(terme1 terme2) : "terme1" ou "terme2" ajoutent 3 points au score et sont obligatoires
• +terme : "terme" ajoute 2 points au score de l'ucd
• ++terme : "terme" ajoute 3 points au score de l'ucd
• -terme : "terme" enlève 2 points au score de l'ucd

On peut retrouver le code et la doc du programme UCD Finder (avec l'ensemble de la syntaxe) sur GitLab : https://gitlab.cds.unistra.fr/vizier/ucd-finder

Pour l'instant, si on modifie ce fichier, il faut faire une commande make dans le répertoire, puis faire un push sur git pour que la mise à jour soit prise en compte.
=> Gilles va voir pour qu'il y ait une mise à jour automatique en fonction des dates de modification.

Si jamais il nous manque un ucd1+, on peut faire remonter la demande à Sébastien.
Par exemple, pour l'UCD1 PHOT_MAG_Y, il n'existe pas d'équivalent ucd1+.
En fait, les ucd1+ ne reprennent pas l'ensemble des filtres (seulement quelques uns) et sont plutôt des descriptions générales de domaines observés. Ainsi, em.opt.I couvre le domaine entre 750nm et 1000nm (ce qui inclus "z"). Pour des filtres plus larges, on pourrait choisir un ucd1+ du type em.IR.NIR qui couvre 1.0 à 5.0um.
Pour le Y (qui couvre à la fois J et H), on peut utiliser em.IR.J (la traduction par défaut actuelle) qui va entre 1.0 et 1.5um et recouvre la plupart du filtre Y (par ex., le filtre "UKIRT/UFTI.Y" couvre le domaine entre ~0.94 et ~1.2um).
Si un nouvel UCD s'avère nécessaire, il y a une procédure accélérée qui permet d'obtenir une liste mise à jour avant que la note IVOA soit validée en commité.

=> Il faudra voir la procédure qui permettra de mettre à jour le fichier UCD1+.def avec les nouveaux/deprecated ucd1+ définis par les différentes commissions IVOA.

-- EmmanuellePerret - 2023-11-21