ReuV18jan2022 < Documentaliste/VizierDocumentaliste

Réunion du 18/01/2022

Présents (BBB) : Thomas B., Marianne B., Coralie F., Gilles L., Giacomo M., Pierre O., Emmanuelle P., François-Xavier P., Patricia V.

Grands catalogues en cours

GSC2.4.2 = I/353 (en validation chez Giacomo)

Sera le plus gros catalogue de VizieR avec 3,485,671,481 rows

F.-X. & Patricia n'ont pas rencontré de problème particulier à part que "plus c'est gros, plus ça prend du temps".

L'étape qui demande le plus de temps est la description des colonnes, unités, UCDs...
Si on ne considère que le processing, le plus long est de ré-générer un fichier csv avec les descriptions byte-to-byte à partir des données binaires.

Par contre pour TAP, ce sera peut-être plus problématique pour les xmatch entre catalogues. Gilles va voir pour découper la table en sous-tables qui seront gérées, de manière transparente par l'utilisateur, par POSTGRES (partitionnement de tables). Cela prendra sans doute du temps supplémentaire pour ce catalogue.

Starhorse2021 = I/354 (en validation chez Giacomo)

362,392,321 rows

DES DR2 = II/371 (en validation chez Pierre - modulo questions)

691,483,608 rows. Quelques questions en attente :
- "J2000 in ICRS system" = équivalent ICRS ? (Pour la DR1, on avait du J2000)
=> a priori oui.

- On devait prendre les "MAG_AUTO" pour le photometry viewer - mais aucune mag indexées pour la DR1... ?

F.-X. est en train de regarder car il a mis à NULL les mag dont les erreurs étaient >100 (et mis à NULL les erreurs sur mag >100) mais il reste quelques 99.
Si les mag ne sont pas indexées, ce n'est peut-être pas la peine de s'embêter pour ça... ?

N.B. : Actuellement, le catalogue est en Ready donc on ne sait pas si Pierre peut visualiser les sources dans Aladin ?

=> A priori, c'est possible avec SAMP pour les sources affichées en test.

SDSS DR16 (en cours - données récupérées & quasi-prêt pour prep. ReadMe)

~1 milliard de sources pour 800Go de données. Très long car il faut faire de nombreuses jointures entre différentes tables.

GDR2AP (en cours)

Un A&A pas encore publié qui donne des paramètres fondamentaux (masse, âge, températures...) pour les sources Gaia.

TAP

A noter que c'est beaucoup d'un coup pour TAP et que les catalogues y seront ajoutés petit à petit.

CTS à renouveler en 2022 : préservation des données d'origine pour les grands catalogues ?

Gilles aimerait avoir un texte clair et précis concernant la conservation systématique (ou non) des données (pour une période donnée ou non) qui ont été sélectionnées pour construire les grands catalogues.

=> Il envoie un texte pour que les responsables valident.

Grands catalogues à faire

4 dernières versions de catalogues de l'ESO

KiDS DR4.1
Viking DR4
VST ATLAS DR4
VPHAS+ DR3.2

Grands catalogues à venir

Pan-STARS 2

=> On attend que la nouvelle version du GSC soit dans VizieR pour relancer Brian et obtenir les données...

Gaia DR3 - mise en ligne publique prévue pour mi-juin 2022

Choix des données à récupérer ?

Pas BP/RP
Tables etoiles doubles etc. => ok
GAPS: Gaia Andromeda Photo Survey: G seulement ou aussi BP/RP etc.
RVS spectra?
...

Pour les spectres, on avait décidé jusque là qu'un lien vers l'ESA suffisait. A voir si le lien n'est pas utile pour l'utilisateur et s'il y a moyen d'avoir directement un lien vers un plot du spectre.

Il faudrait tout d'abord savoir dans quel format sont les spectres, quelle est la volumétrie, le nombre de coefficients... et si on peut obtenir un échantillon.

=> Thomas va demander (réunion dans 15 jours pour Gaia avec tous les interlocuteurs).

Il faut se demander aussi quel est l'intérêt pour le CDS d'avoir ces spectres.
S'il faut un programme spécifique pour le plot, Gilles ne pourra pas le maintenir donc à voir comment cela peut être fait.

L'ESA met à disposition une librairie Python pour générer les spectres : GaiaXPy -- mais seulement pour les personnes qui ont un login.

Par ailleurs, F.-X. prendra la suite de Thomas pour ce catalogue Gaia.

TESS v9? - versions intermédiaires ?

Actuellement, on a la v8.0 (TIC-8) dans VizieR.

Sur le compte-question, Eric Jensen a envoyé un message le 10 janvier pour savoir si on comptait entrer la v8.2

Cécile n'est pas très enthousiaste à l'idée car les IDs TIC n'ont pas l'air consistants entre les versions ce qui pourrait poser des problèmes à SIMBAD (mais pas que) pour les identifications des objets.

N.B. Il y a deux jeux de positions dans ce catalogue : les RA et DEC actuellement en positions principales qui ont une note "The right ascension and declination are provided in epoch 2000 due to mission requirements. Users are requested to use the original catalog right ascension (column RAOdeg, DEOdeg) when propagating positions forward." et les positions RAOdeg et DEOdeg provenant des catalogues d'origine qui ont des erreurs souvent beaucoup petites. A-t-on bien fait d'indexer les RA et DEC ?

=> Oui, puisqu'elles sont en époque 2000 alors que les positions d'origine ont sans doute des époques différentes selon les catalogues d'origine (cf. r_Pos)

Par contre, pour une prochaine version, il faut songer à ajouter les erreurs sur les positions par défaut qui sont parfois très très grandes (jusqu'à 101165816mas)...[Et ajouter aussi les IDs des xid !]

=> Répondre qu'on attend plutôt la v9.0 -- en espérant qu'ils conservent les identificateurs entre versions (c'est le seul intérêt du xmatch) !