Réunion du 17/01/2023

Présents : Marianne B., Ana F., Coralie F., Gilles L., Giacomo M., Pierre O., Emmanuelle P., Alicia V., Patricia V.

Patricia

A partir de combien de lignes doit-on passer par un traitement " très grand cat" ? Cas de J/A+A/665/A78 : agnin.dat en TGC et pas les autres.

La table bkgev.dat fait ~160 millions de lignes. De manière générale, on avait plutôt mis une limite autour de ~20 millions de lignes voire jusqu'à ~40 millions pour les tables sans coo ?

Ici, il y a des positions mais il s'agit de simulations. Idéalement on voudrait que les catalogues simulés ne remontent pas dans les "cone query vizier" mais soient retrouvables uniquement par mots-clefs/titres/noms de cat, etc. (pas en recherche globale par coo donc puisqu'il ne s'agit pas de vrais objets).

Il existe la commande \VizQbox{ - } pour ne pas inclure un catalogue (TGC ou pas) en entier (pas moyen de spécifier une table) dans l'index par positions.
Par contre, comme on passe désormais par les MOC et plus par les Qbox, Gilles va voir pour conserver cette possibilité...

GL: je confirme que les catalogues obsolete sont visible dans la version MOC (contraitrement a QBOX) - QBox etant obsolete (\vizQBox le deviens aussi) Je propose d'ajouter une nouvelle commande viztex (.status) pour specifier si le catalogue est a supprimer de la recherche positionnelle. Par exemple \notInGlobalPosition{table}

Alternativement, on pourrait laisser ce genre de table uniquement en FTP sans avoir à faire tout le travail de description, quitte à décevoir certains utilisateurs pour qui l'affichage de la table est pratique. Mais si on enlève la recherche par coo, la table ne sera pas facilement trouvable dans VizieR donc on peut peut-être s'épargner tout le travail long et minutieux de description ?

N.B. : il existe un tag \cType{MC} mis systématiquement par les documentalistes dans le .status mais il peut s'agir de simulations ou de résultats issus de modèles (pour de vrais objets). On ne peut donc pas se servir de ce tag là pour rechercher tous les catalogues de simulation.

Un catalogue A&A avec 20Go de spectres FITS prévu, ok ?

=>Pas de souci pour le stockage...
=>Les FITS seront comme toujours en FTP uniquement (avec table indiquant la liste des fichiers).

Gilles

Mise en place d'une nouvelle coloration syntaxique dans le .status

Permet notamment de surligner en rouge les commandes qui ne sont pas écrites correctement. Les macros sont normalement colorées en vert sinon il y a sans doute un problème...

Cela permet de facilement vérifier la syntaxe du .status car les messages d'erreur lors de l'ingestion ou des vérifications par les différents programmes ne sont pas toujours très clairs... S'ils existent !

Exemple de non-message d'erreur : cas récent du label "l_mag" qui accepte un format A et peut-être I mais pas F5.2... A raison d'ailleurs. Si on a un label l_mag avec un format F5.2 dans un ReadMe, le seul résulat est que la commande ana ne fonctionne plus : rien en sortie. La commande anafile -fs ReadMe permet alors de voir qu'il y a un "segmentation fault". A nous ensuite de remplacer tous les labels un par un pour voir lequel pose problème...

N.B. La nouvelle coloration a également permis de résoudre le problème des UCD1 dont les underscores étaient systématiquement surlignés en rouge. Problème de visibilité pour tous les catalogues remonté le 28-fev-2017...

Autoriser les caractères UTF-8 dans les ReadMe ?

De nombreux problèmes sont dus à des caractères non-ASCII pas forcément évidents à détecter. On pourrait autoriser le UTF-8 pour nous simplifier la vie ?

L'avantage d'avoir de l'ASCII est de ne pas avoir à se poser de question pour les accents des noms d'auteurs (certains sont très sensibles sur le sujet) et d'avoir un corpus homogène.
L'UTF-8 permettrait de ne pas avoir à se soucier de transformer les unités de type um, angstroms, etc... ?
Attention toutefois car les unités devraient rester standards dans la description des tables ; quelles vérifications sont faites à ce niveau...?

En plus de la commande file filename qui nous indique si le fichier n'est pas entièrement ASCII ;
noter que la commande od -c filename permet d'afficher tous les caractères un par un pour repérer ceux qui sont en UTF-8. Bien pratique...

N.B. : on pourrait aussi se simplifier la vie en enlevant la limite à 80cc pour le ReadMe.
Ce sera sans doute le cas dans la prochaine version VizieR. Il faut juste s'assurer que les descriptions ne seront pas tronquées à 80cc quelque part dans l'ingestion des données.

Ajout de la Section History dans la landing page

Gilles a activé la recherche sur la section History dans Catalogue Collection. On peut chercher par exemple : date_history:>01-Jan-2022 pour avoir la liste des catalogues avec des updates après Janvier 2022.

IMPORTANT : Noter que ces corrections ne concernent que les updates après release du catalogue et en aucun cas toutes les modifications/corrections/ajouts qui sont fait au moment de la préparation du catalogue. Cela ne concerne pas non plus les misprints qu'il peut y avoir sur les noms d'objets ou les coordonnées. Pour ces modifications là, il y a généralement des notes au niveau des colonnes concernées...

La section History a également été ajoutée à la landing page. Pour la voir, il faut que l'option CDS soit active sur l'adresse cdsarc (pas vizier qui a aussi son option locale) - l'entête de la page indique "VizieR local"... Par exemple : J/ApJS/255/30

N.B. : Lorsqu'on est dans le vizier local (cette fois ça marche aussi pour le local de vizier qui indique pareillement "VizieR local" en en-tête), il existe des petites cases à cocher "sort by:popularity or date" en bas à droite de la recherche.

Si la recherche par popularité est possible sur la page de résultats par tout le monde. La recherche par date n'est pas prévue.

On note qu'actuellement la recherche par date suit d'abord l'ordre des grands catalogues/journaux puis il y a un tri par date de la plus ancienne à la plus récente. Pas sûre que le tri par date fonctionne comme on voudrait du coup... Mais elle pourrait être intéressante pour les utilisateurs aussi !

Problème pour comprendre toutes les méthodes de calcul dans le \vizPosition pour les offsets

Le \vizPosition permet de faire beaucoup de choses... Y-compris pour recalculer des positions à partir d'offsets avec des centres venant d'une autre table, d'une liste, d'un catalogue de référence, etc.

=> OK. Gilles a résolu ses questions.

Remarque sur le nettoyage des données pour les répertoires temporaires et le répertoire Mail

Penser à supprimer les fichiers FITS du répertoire Mail lorsqu'on a fini de traiter la référence et de les laisser uniquement en ori.tar pour gagner de la place.

Supprimer automatiquement les données de plus de 2 ans des répertoires temporaires du FTP.

-- EmmanuellePerret - 2023-01-17