Réunion VizieR 29/01/2019

Présents: Marianne B., Gilles L., Pierre O., Emmanuelle P., Tiphaine P., Patricia V & Yann Bisch

Yann

Présentation du projet avec Elastic search

Projet d'amélioration de la recherche VizieR (zone libre actuelle et impact sur findcat/qcat) grâce à Elasticsearch.

Elasticsearch est un logiciel libre en Java, qui propose un moteur de recherche pour l'indexation et la recherche de données. Les formats d'échanges sont en JSON ; un format qui décrit de manière structurée des zones de données.

L'idée est d'utiliser les ReadMe qui sont déjà structurés pour pouvoir faire des recherches par zones en excluant certains mots ("stopwords") tels que "the" "a" "some", etc. N.B. : "the" ne peut pas être un stopword pour la recherche par auteurs puisque c'est un nom d'auteur...

Le logiciel permet différentes possibilité de recherche, tel que "fuzzy" qui recherche des termes similaires, etc.

On pourrait ainsi avoir une interrogation du style Bumblebee d'ADS

Marianne

Pas de mail pour les nouveaux catalogues de la semaine dernière ?

Pas non plus de news sur la page d'accueil du CDS.

=> Du coup, est-ce que le mail pour ADS a été envoyé ? Problème plus conséquent pour toutes les mises à jour réalisées durant le week-end ?

=> Gilles regarde.

Gilles

Ajout du statut "v" dans le .status ?

Lorsqu'on fait un qcat sur un catalogue, on obtient sont status. "f-v" signifie qu'il est à la fois FTP et VizieR.

Par contre, Gilles a noté qu'il n'y a jamais de "v" dans le fichier .status - seulement un "f" dans le \cCenters{ } .

Ajouter l'indication "v" dans le .status permettrait de rendre la commande qcat complètement indépendante de la base.

Actuellement, le statut est ajouté via une requête quotidienne à KronTable (?) . L'avantage est que le statut est bien celui qu'il y a actuellement en base.

=> A voir ?

Ajout du programme "checkfiles"

Norton avait bloqué cdsarc, considéré comme site dangereux, suite à des fichiers d'origine douteuse en .scr et .vba qui s'étaient retrouvés dans les sous-répertoires d'un catalogue au milieu de fichiers FITS.

=> Gilles a contacté la compagnie de Norton pour débloquer la situation et a supprimé les fichiers incriminés.
=> Désormais, lors du make_public , le programme "checkfiles" vérifie l'extension des fichiers soumis sur le FTP. Un message d'alerte est donné s'il rencontre du .doc, .rar, etc.

N.B. : Le catalogue J/ApJS/235/4 contient des spectres et light curves en FITS mais l'extension des light curves est .lc, tandis que pour les spectres, on a des fichiers .pha -- renommer les fichiers ?

Gilles : renommer les fichier en .fits !

Tiphaine

J/AJ/155/207, colonne "AssocData" - données non accessibles ?

Il n'y a pas d'image pour ce catalogue puisqu'il s'agit de spectres donc aperçus non disponibles.

Par ailleurs, le spectre est dans la base locale mais pas en production alors que le catalogue a été rentré hier...

=> Gilles regarde si c'est normal.

Emmanuelle

J/ApJS/239/18 : Dark Energy Survey DR1 - accessible ?

Le papier décrit la Release mais les données sont accessibles après enregistrement pour obtenir un login.

Catalogue de 400 millions de sources et images...

=> Pierre (ou Mark) contacte la DESDM team (https://des.ncsa.illinois.edu/about) pour voir si on peut récupérer les données qui passeront dans la procédure "grand catalogue".

J/ApJS/239/13 : count-rate toujours en ct/s ?

Changement des unités pour les count-rate ok ? => oui.

Pas d'explication pour "ARF", ok ?

ARF = "auxiliary response file" (la surface de collecte de l'instrument est multipliée par l'efficacité quantique ce qui donne la sensibilité de l'instrument ; et donc, une fois corrigé de l'ARF, on obtient un flux intrinsèque).

=> Question pour Ada : est-ce qu'il y a un intérêt à faire des SED en X-ray ? (Actuellement rien en X pour le Photometry viewer...)

J/ApJ/852/29 : en Ready/Prod alors que Release et clone VizieR ?

La ref. était en "Wait". Après modification, j'ai fait un 2v et répondu "y" aux 2 questions "Release now" et "Clone to VizieR" mais la ref. repasse en statut "Ready/Prod", donc retourne à la validation par un astronome.

A priori c'est normal, pas moyen de faire autrement...

N.B. : Lorsqu'il y avait un commentaire par un astronome pour une Ref. en "Wait", lorsque la ref. est finalement validée, elle nous revient par mail avec le même commentaire (et le statut "VALIDATED" cette fois-ci).

=> ça pourrait être utile d'ajouter un "OK" à la suite du commentaire pour qu'on sache d'emblée que la ref. a déjà été traitée (ou bien supprimer carrément le commentaire s'il s'agissait juste d'une typo). Pierre le note. - A voir avec Caroline...

On note que J/AJ/155/226 est en Ready/Prod avec le commentaire sur l'affichage des e-15 dans les plots. Affichage résolu ?

Thomas a fait une modification mais l'affichage est partiellement résolu seulement...

=> Pas vraiment satisfaisant. Dans ce cas au moins, on préfère multiplier la valeur par e+15 pour avoir un affichage correct ($2*e+15 dans le .graph_sql).
Attention à bien reporter cette modification sur l’axe des Y !

Tiphaine : suite à la dernière modification, le graphe J/MNRAS/455/2918 (tablea4) avec des e+40 ne fonctionne plus (il était correct avant - je suis témoin) à moins de multiplier les valeurs...

N.B. : lorsqu'on utilise le paramètre du widget pour transformer un axe du plot en log, seule l'échelle du graphe change, pas les valeurs.
Par contre, si on met l'axe directement en log par défaut dans le .status avec l'option "--xlog=true", les valeurs sont modifiées. (Je n'ai pas re-testé mais je vous crois).

Note : La landing page pour ce catalogue affiche un joli plot - ce qui plaît beaucoup à Gilles.
Pour rappel, j'ai ajouté quelques exemples de landing page dans la doc de nos commandes VizieR : http://cloud-wiki.u-strasbg.fr/twiki/bin/view/Ressources/MAJVizier#LandingPage

J/ApJS/224/24 (COSMOS2015) - suite

Il y a des magnitudes aberrantes mais ce serait bien de ne pas avoir à modifier les valeurs/formats du catalogue - est-ce qu'on peut mettre une condition par défaut pour afficher les bonnes sources (voir Note générale sur le catalogue) ?

=> OK pour faire un \vizQual sur Area=0 et laisser les valeurs telles quelles (affichage en rouge des sources où le flag est >0)

=> Pour le photometry viewer, prendre les magnitudes AUTO. -- sauf que problème avec les mag aberrantes => solution ???

Lorsqu'on clique sur "All columns", la page affiche une Erreur... => Solution ?

Pas besoin de passer la ref. en ref. grand catalogue : région restreinte (et seulement ~1 million de sources)...

-- EmmanuellePerret - 2019-01-29