Réunion Très Grands Catalogues

20 janvier 2014

Participants: Thomas Boch, Laurent Cambrésy, Françoise Genova, Gilles Landais, Pierre Ocvirk, François-Xavier Pineau

Point d'avancement

• CMC15 : FXP a récupéré le DVD
• Catalogues ESO : Magda Arnaboldi nous a envoyé les infos pour récupérer les données des surveys publics ESO. TB va vérifier ce qui est en ligne et ce qui nous intéresse
• Catalogues pour projet ARCHES : FXP va fournir une liste des catalogues à intégrer
• AllWISE : données récupérées et traitées par FXP. LC va regarder les colonnes à conserver et rédiger le ReadMe
• SDSS DR10, UKIDSS dernières releases : François Ochsenbein disposait des points de contact à Edimbourg et Johns Hopkins. Il va falloir transférer ces contacts
• IGLS : (Initial Gaia Source List) en cours de traitement : données récupérées par TB, ReadMe dans les mains d'Arnaud Siebert

Nouvelle organisation de l'équipe

Laurent est le responsable scientifique "grands catalogues". Il est la personne à contacter pour la rédaction des ReadMe.

Thomas assurera le suivi et l'encadrement technique.

Il est rappelé que les grands catalogues constituent un axe stratégique majeur pour le CDS. A ce titre, l'intégration doit être traitée en priorité .

Etapes de l'ingestion d'un grand catalogue

Un tour de table permet de résumer les différentes étapes de l'ingestion d'un catalogue.

Il est décidé de documenter précisément ces étapes sur le wiki. Ce document servira de checklist.

Les compétences vont être doublées à la fois au niveau de la préparation des catalogues et de l'ingestion dans vizier afin que l'absence d'une personne n'impacte plus le pipeline

Suivi de l'ingestion

Il continuera à être assuré via la page Wiki dédiée. Cette page sera remaniée pour faire apparaître clairement les catalogues déja traités, les catalogues en cours de traitement et les catalogues en attente (backlog).

Un email sera envoyé à l'équipe lorsqu'une étape a été franchie.

La conservation des données originales est identifiée comme un point important dans le contexte actuel. Il faut estimer le volume disque nécessaire pour cette opération et commander le disque en conséquence.

Résumé des actions

• TB : vérifier les catalogues ESO en ligne et télécharger les
• FXP : dresser la liste des catalogues à ingérer pour le projet ARCHES
• FG : gestion du transfert des contacts pour SDSS et UKIDSS
• GL : chiffrer le volume disque nécessaire à la conservation des données originales
• TB : reprendre la page de suivi
• TB : créer le squelette du document "Etapes d'ingestion d'un grand catalogue"
• Tous : alimenter la page de description détaillée des étapes d'ingestion