Réunion Grands Catalogues du 16/03/2021

Présents (BBB) : Thomas B., Marianne B., Coralie F., Gilles L., Giacomo M., Pierre O., Emmanuelle P., François-Xavier Pineau, Patricia V.

Catalogues validés ou en cours

• GPS1+ ( I/351) est validé et intégré dans TAP.
• ESO VHS DR5 ( II/367), idem.
• Distances Gaia EDR3 de Bailer-Jones et al. ( I/352), idem.
• CatWISE (II/365) et AllWISE (II/328) ont été ré-ingérés (modifications/ajouts de colonnes).
• Gaia DR2 extinction (J/AJ/159/84) est en Test (mis en Ready désormais).
  => A valider par Giacomo.
  Etait en attente suite à la discussion sur les époques dans VizieR (voir par ex. réunion du 10 novembre 2020.
  => On décide de faire comme pour le Gaia distances, c'est-à-dire, coo d'origine à l'époque 2015.5.
  => A plus long terme, réfléchir à une interrogation de VizieR où on pourrait ajouter le mouvement propre d'un objet pour interroger sur les positions ?

• SDSS DR16 : le contact vient de répondre à F.-X. et tous les fichiers ont été récupérés avec le bon nombre de lignes !
• Requête de Cécile du 8 mars : SSTSL.
• Dernières versions des catalogues ESO.

Procédure et suivi

Problème de procédure : différents intervenants donc possibilités d'oubli pour avertir quelqu'un concerné par une étape en particulier.

L'outil de follow-up (http://cdsarc.u-strasbg.fr/follow/index.gml) envoie des notifications de validation seulement à la documentaliste qui a préparé le catalogue. En tous cas, pas à F.-X.

Gilles a mis en place une alerte qui l'avertit de l'ingestion d'un grand catalogue en base.
<nop>=> Ajouter F.-X. sur cette alerte.

Patricia avait envoyé un mail en 2017 avec les différentes étapes par équipe pour qu'on le complète.
=> Giacomo fait un Google Drive avec le document.

=> A différencier de (ou à compléter dans ?) la procédure d'ingestion des grands cat qu'on trouve sur le Twiki :http://cloud-wiki.u-strasbg.fr/twiki/bin/view/GrandsCatalogues/EtapesIngestionGrandCat (probablement similaire au mail de 2014 forwardé par Pierre).

Pour le suivi des catalogues validés ou en cours, Giacomo va mettre à jour la liste du TWiki : http://cloud-wiki.u-strasbg.fr/twiki/bin/view/GrandsCatalogues/SuiviTresGrandsCatalogues

F.-X. a aussi une liste personnelle sur gitHub pour ses étapes : http://cdsgit.u-strasbg.fr/pineau/vizbigcats/-/blob/master/DetailedStatus.md
Ainsi qu'un script qui lui permet de vérifier que tous les fichiers sont bien là où ils devraient être lors de la procédure.

Sur le rythme d'ingestion, Gilles trouve acceptable 15-20 catalogues par an s'ils ne sont pas fait tous en même temps. Inquiétude sur la volumétrie vis à vis de TAP qui est un protocole très gourmand par contre. A plus long terme, si on reçoit de nouveaux catalogues de ~10To, il faudrait envisager une base de données distribuées qui demandera plusieurs serveurs...

Statistiques d'utilisation :
Pour Gaia EDR3, le nombre de requêtes semble moins important que pour la DR2.
Voir si les tables de xids demandées par Arnaud sont très utilisées (peut-être qu'elles sont mieux sur le site de l'ESA ?).
Voir via quels outils le catalogue est interrogé.

DOIs

Pour Gaia, un DOI VizieR a été ajouté après accord avec l'ESA, cf. https://commons.datacite.org/doi.org/10.26093/cds/vizier.1350.

On pourrait envisager de créer des DOIs pour les catalogues de l'ESO ?
=> Gilles et F.-X. voient quelle procédure proposer (cf. exemple de Gaia) et remonter à Mark pour discuter avec le contact à l'ESO qui fait partie du Conseil Scientifique du CDS.

N.B. : il semble y avoir un problème sur la landing page du Gaia EDR3 et du J/A+A/644/A15 : le DOI d'origine n'est pas indiqué ?

-- EmmanuellePerret - 2021-03-16