Réunion VizieR 21/03/2018

Présents: Marianne B., Sébastien D., Gilles L., Pierre O., Emmanuelle P., Tiphaine P., Patricia V.

Suite de la question "Conservation de la précision originale en base avec formatage" posée par Gilles pour VizieR-2

Voir CR de Gilles sur VizieR2 -- CR ouvert aux suggestions de tous.

Plusieurs remarques d'utilisateurs qui souhaitent retrouver la précision des données dans VizieR telle qu'elle est récupérable sur le site des archives. Pour Gaia par exemple.

=> Pierre a commencé une documentation sur la précision des paramètres en fonction des erreurs.
=> On est tous d'accord sur le fait de pouvoir afficher (en page Web) des formats qui ne sont pas forcément les mêmes que ceux stockés en base (avec toute la précision) et récupérables (données de transfert).

Concernant le cas particulier des FITS (et grands catalogues) où les formats ne sont pas fournis avec les données :
1. Pierre rappelle qu'il est utile de transformer une table FITS en ASCII en sélectionnant les colonnes les plus pertinentes et en affichant les min/max et les valeurs significatives (modulo "quelques" décimales supplémentaires - l'argumentaire et la définition du "quelques" reste à voir). Cela permet notamment à l'utilisateur de comprendre plus facilement à quoi correspond le fichier.

2. Actuellement le programme utilisé pour cette transformation est fits2a dont les options -tdisp -v suggèrent un format de conversion avant de donner le format du FITS (?) et différentes stat sur les colonnes (il y a un exemple de résultat sur la page Quoi faire avec des FITS ?? écrite en 2012 en désespoir de cause - qui n'est plus du tout à jour pour les images et les graphes...).
A priori, le format suggéré ne dépend pas de critères scientifiques mais de critères statistiques effectués sur les colonnes.

=> Pour les cas particuliers, continuer à se référer à Pierre pour les formats et la sélection des colonnes. Son document pourra sans doute servir dans la plupart des cas. Voir par exemple pour COSMOS2015 (J/ApJS/224/24 sur cats) en rade depuis un certain temps avec 536 colonnes (résultat du fits2a -tdsip -v dans le fichier "cat_format" et header fournit dans "COSMOS2015_Laigle+.header").

=> Penser aussi à prévoir les formats pour Gaia-DR2 et de manière plus générale pour tous les grands catalogues avant formattage pour le sample... Pour la DR1, il y avait des listes de formats pour certaines tables. Mais de manière plus générale, on a rarement les formats (cas des catalogues ESO, par exemples).

=> On pourrait voir comment F.-X. gère les grands catalogues avec STILTS ?
Gilles n'est pas forcément très partant : outils hors CDS sur lesquels on n'a pas la main.

Patricia note que TOPCAT tronque parfois très abruptement les valeurs... Il reste un outil efficace pour visualiser une table en première approche.

=> En fait, en regardant la doc ci-dessus sur les FITS, l'option fits2a paraît très efficace quand on sait s'en servir... On rappelle aussi l'option -c qui permet de ne sélectionner que certaines colonnes.

Téléchargement des grands catalogues

Sébastien revient sur le fait qu'une question fréquemment posée sur le compte-question est "comment faire pour récupérer le catalogue {USNO} en entier ?"

=> Ce serait peut-être déjà bien de clarifier l'accès FTP pour les grands catalogues qui fournit un ".sam" pas forcément limpide.
On propose d'ajouter un fichier de type "DISCLAIMER" pour avertir que la taille du catalogue étant très large, il n'est pas possible de le récupérer directement depuis le FTP.
Ce serait bien d'avoir la solution pour le téléchargement dans ce même fichier...

=> Pierre propose de créer systématiquement des listes découpées en bandes RA/DEC qu'on pourrait télécharger.
Risque d'avoir des fichiers très gros ?

=> Dans le cas de Gaia, Patricia a ajouté sur demande des auteurs un lien vers un index de l'ESA qui propose le téléchargement des fichiers en CSV, FITS ou VOtable. Cela permet de s'affranchir des problèmes de transfert de données depuis chez nous.

Les autres solutions pour télécharger des grands catalogues sont le passage par TAP ou aclient (?)

N.B. : Patricia a dû recharger entièrement Gaia pour modifier l'URL de téléchargement qui a changé après publication du catalogue. Serait-il possible de ne pas recharger tout le catalogue lorsqu'on modifie un titre ? Cela serait également utile dans le cas des coquilles sur les titres de vieux catalogues que l'on hésite à recharger dans VizieR.

=> Gilles pense que c'est trop risqué. Il a néanmoins le moyen de pouvoir modifier des métadonnées sans avoir à passer par le 2v . Voir le cas du mot-clef "Exoplanets" qui doit être ajouté à tous les ReadMe des catalogues listés par Patricia (cf. CR du 16 janvier par exemple).

Passage aux ucd1+

On souhaite abandonner à terme les UCD1 qui ne sont plus utilisés que par le CDS.

Il nous faudrait donc, au minimum, avoir les mêmes outils que l'on avait pour définir les UCD1. Voir CR du 27 février à ce sujet.

=> Seb propose de :

1. voir avec Gilles pour modifier le setUCD afin d'afficher une liste d'ucd1+ dans le cas où l'ucd1+ ne peut pas être construit.
On rappelle que setUCD ne sert pas seulement à attribuer les UCDs mais fait aussi des vérification via la commande vizcat .
2. voir pour créer une page de statistiques d'utilisation des ucd1+ dans VizieR à la manière du getUCD
3. Le point 2 permettrait sans doute d'arriver à combiner la recherche dans l'explication, le label et les unités pour proposer un ucd1+ (actuellement le setucd1+ ne se sert que de l'explication). Voir aussi si le fichier qui résulte de la commande ucd1 dans cats pourrait être convertit pour les ucd1+ ?

Patricia rappelle que le changement ne sera pas simple.

Il faut aussi s'assurer que les UCD1 ne sont pas utilisés dans divers programmes : COSIM par exemple ?, ou le ID_MAIN, POS_EQ_RA_MAIN ou attribution des filtres...

-- EmmanuellePerret - 2018-03-21