Réunion VizieR 05/03/2019

Présents: Marianne B., Gilles L., Pierre O., Emmanuelle P., Tiphaine P., Patricia V.

Gilles

Modification pour améliorer la rapidité d'ingestion dans la base Saada

=> Fait (la vitesse a été multipliée par 12)!

Emmanuelle

Cas des ~3900 spectres du J/AJ/154/107 : Target name ne sont pas bons...

Une partie des noms des objets est récupéré directement de la table VizieR mais ce n'était pas possible pour tous les spectres (les noms des fichiers ne concernent que la bande "r" et pas les bandes i et b). Dans le header FITS, on a parfois OBJECT, parfois TARGNAME mais de toute façon, le TARGNAME n'est pas forcément clair non plus : K0001 devrait être KOI-0001...

=> Il faudrait ajouter les 2 colonnes avec les noms des fichiers pour les bandes i et b dans le catalogue, pour pouvoir récupérer les noms de la table pour tout le monde.

Gilles note que la récupération via la table VizieR est beaucoup plus lente que si on faisait, par exemple, un simple split à partir du nom des fichiers.

En fait dans ce cas, le nom des objets est bien dans le nom des fichiers mais il faudrait un peu plus qu'un simple split pour pouvoir transformer les cks-k[0-9] en KOI-* et les cks-kic en KIC...

=> Gilles note que des transformations plus complexes sur les noms des fichiers (qui contiennent généralement, nom d'objet, filtre, instrument...) à partir d'expressions régulières seraient utiles.

N.B. : Depuis la base de données associées, on peut remplacer le "[default]" dans la requête ObsTAP pour voir les URLs et les noms de fichiers (SELECT TOP 500 * FROM obscore WHERE obs_collection='J/AJ/154/107').

Le temps d'ingestion étant néanmoins toujours conséquent, Gilles rappelle que xfits permet une requête asynchrone lorsqu'on utilise le bouton "put".

Un autre moyen serait d'utiliser un terminal Tmux mais cela demande un peu d'apprentissage...
Emmanuelle : un autre "terminal multiplexer" est screen qui permet de conserver ses différentes sessions sur une machine distante et d'éteindre son poste tranquillement -- il faudrait qu'il soit installé sur cats par contre.

Dans le cas d'une commande que l'on veut laisser tourner tranquillement, on peut utiliser la commande nohup (avant sa commande et suivi du &) mais dans le cas de l'ingestion pour Saada, les questions en fin d'étapes sont ennuyeuses (exemples commande).

Pierre

Possibilité d'ingérer des flottants dans VizieR - cas du 3D-HST (J/ApJS/225/27)

Il y a des valeurs en e+305 qui ne sont pas gérées par VizieR...

=> Il faudrait pouvoir gérer des nombres décimaux en fait mais ce n'est pas prévu...

En attendant, envoi d'un mail à l'auteur pour savoir où mettre la limite sur les valeurs non réelles. Et faire un script pour transformer les valeurs...

Emmanuelle : 1e+07 est déjà au-dessus de la limite physique d'après l'auteure.

La seule autre option est de mettre les mesures en format A... Ce qui implique qu'aucun tri n'est possible sur ces colonnes -- environ la moitié du catalogue quand même...

N.B., requête vizSQL pour transformer les zspec à -1.000 en null ne fonctionne pas avec "\vizSQL{ * }{set @{:zspec}=null where @{:zspec}=-1.0}" ou "\vizSQL{ * }{set @{:zspec}=null where @{:zspec}=-1}". Par contre, dans ce cas, on peut écrire "\vizSQL{ * }{set @{:zspec}=null where @{:zspec}<0}" et cela fonctionne.

Remarque, la syntaxe "@{:zspec}" permet de désambiguïser certains noms de colonne qui peuvent être stockés différemment en base (par exemple "M")...

Note : Gilles rappelle, de nouveau, qu'un lien vers des fichiers avec un \ifmatch est complètement inutile et inutilisable par les programmes ensuite (comme Aladin).

Dans ce cas précis, j'ai pu faire sans mais quand on ne peut pas faire autrement, je pense que le lien vers le fichier est quand même plus visible que si on doit aller consulter le FTP...

A priori, dans un avenir proche, on pourra récupérer les URLs depuis les catalogues (plutôt que "fits", "fits", "fits" plein de fois)... Sauf si on met un \ifmatch dans notre commande.

Patricia

Gaia DR2 rechargé entièrement pour faire apparaître le bibcode...

Gilles insiste sur le fait que faire un 2v après une modification est la méthode appropriée et que dans certains cas, il y a eu des modifications qui n'étaient pas rechargées (d'après Soizick ?).

En même temps, avoir à recharger de grands catalogues, pour de simple métadonnées, n'est pas forcément très efficient du point de vue de ceux qui doivent recharger les données...

-- EmmanuellePerret - 2019-03-06