Sur cdsxmatch3:/raid2/boch/Gaia-test-data/

Questions à poser en réunion

format des colonnes (nombre décimales à conserver)

Noms de colonnes originales pour TAP

calcul position époque 2000 ??

quelle documentaliste ? quel astronome ?

quels indexes dans TAP ?

score pour HiPS catalogue ?

vizFilter (filtre photométrique)

Examen des données à télécharger

(depuis cdsxmatch3)

ssh cdsgaia@gaiadata.esac.esa.int
cd /cu9opsdata/PUBLIC/test/rehearsal/GDR_TEST_01

Téléchargement des données

Sur cdsxmatch3 :

cd /raid2/boch/Gaia-test-data
scp -r cdsgaia@gaiadata.esac.esa.int:/cu9opsdata/PUBLIC/test/rehearsal/GDR_TEST_01 .

Téléchargement effectué en environ 2 heures

On supprime un fichier qui en devrait pas être là :

 rm GDR_TEST_01/TgasSource/Rehearsal_TgasSource_CU9PublicArchiveDm-18.3.0_00000.csv

Téléchargement des outils

Sur cdsxmatch3 :

cd /raid2/boch/Gaia-test-data
mkdir tools
scp -r cdsgaia@gaiadata.esac.esa.int:/cu9opsdata/tools/GaiaDataLibs-18.3.1.zip tools/
cd tools
unzip GaiaDataLibs-18.3.1.zip

./tools/GaiaDataLibs-18.3.1/bin/md5Calc.sh GDR_TEST_01/

Envoi mail

Mail à sat_gaia@sciops.esa.int avec nom et version du catalogue + location des données

Transformation en CSV

Voir fichier /raid2/boch/Gaia-test-data/README.txt sur cdsxmatch3

Ingestion dans VizieR classique

Sur cdsxmatch3:

scp gaia-test.rcf root@axel:/r5/catsbeta/gaia-test.rcf

Sur cdsarc :

newcats -a1

--> réservation du nom 1336

newcat 1336

cdcat 1336

Création du sample :

catClient.py -source GAIA-TEST -c 0-90 -c.rd=1 -out.max=1000 --dir=mirror --port 1801|grep -v "^#"|head -1000 > gaia.sam

Récupération du byte2byte depuis l'analyse de catana (sur cdsxmatch3 : ./report2readme.bash -in gaia-columns-analysis.json -t BYTE2BYTE ) et insertion dans ReadMe

Définition des UCD : éditer .Summary et ajouter les \vizUCD, exemple :

\vizUCD{ * }{ ref_epoch}{ =meta.ref;time.epoch }

\vizUCD{ * }{ ref_epoch}{ =TIME_EPOCH }

Créer script make_end et y mettre :

#!/bin/bash

psql -U cds vizier -c "UPDATE METAcat set authid=1 where catid=1336;"

# if table in database:

# ALTER TABLE ... OWNER TO cds;

Modifier ReadMe pour mettre des noms de colonnes plus courts que 20 caractères. Ajouter systématiquement noms originaux entre parenthèses

Indexation qbox:

catClient.py -source GAIA-TEST -whole -col=ra,dec --dir=mirror --port 1801 | grep -v "^#" | qboxes - > qboxes

et ajouter dans .Summary:

\vizQbox{ qboxes }

Ajouter dans .Summary :

\cRecords{1079921303 records} % Total number of records

\vizDB{ gaia.sam }{

!ext-tsv/catClient.py -source=GAIA-TEST --mirror --port 1801 \

-out.max=999999999 {-c @{-c} -c.rm @{-c.rm} } }

\vizDisplayColumns{ gaia.sam }{srcId RAJ2000 DEJ2000 ref_epoch phot_g_mean_flux e_phot_g_mean_flux phot_g_mean_mag }

\vizExplain{ * }{ }{+ (\originalcolumnnames) }

\vizComment{ * }{}{\ignore{-c=0-90}}

(position par défaut)

rm "=NOT_PUBLIC="

Lancer 2v

Sur http://cdsarc.u-strasbg.fr/local/viz-bin/VizieR , le catalogue ne devrait pas être visible

Mais il doit l'être sur http://cdsarc.u-strasbg.fr/gaia/local/viz-bin/VizieR une fois loggé

Si on veut changer la release data par défaut :

psql -U cds vizier

Puis :

update METAtab set release where catid=1336;

Ingestion dans TAP VizieR

Ingestion dans service de xmatch

HiPS catalogue

Téléchargement de l'intégralité du catalogue

Release

Procédure pour effectuer la release publique :

Misc comments

- C'est pénible d'avoir à définir les UCD1 (UCD1+ sont donnés dans le document)

-- ThomasBoch - 2016-06-20