Etapes d'ingestion dans VizieR (généralités concernant tout type de catalogue)
Les métadonnées de chaque catalogue VizieR sont décrites dans des fichiers:- ReadMe (public) : abstract, description des données en entrée, notes, nom de l'auteur, etc.
- .Summary (privé): (voir doc http://cds.u-strasbg.fr/twiki/bin/view/Ressources/ProcVizier relative au fichier ".status")
- UCD,
- type du catalogue,
- ordre des colonnes, colonnes par défaut,
- graphes,
- colonne calculées (physique ou virtuelles) ,
- commandes SQL (merge, concatenation, ..),
- etc.
- Réservation du numéro catalogue (en fonction des sections http://vizier.u-strasbg.fr/vizier/cats/cats.htx)
commande: newcats -aNN (NN= numero de section: ex newcats -a2 (section II), newcats -aj (section J))
la commande ouvre un fichier (éditeur VI) qui est à compléter avec le nouvel identifiant. - Création de l'espace de travail
Le répertoire est alors protégé en lecture et n'est pas encore accessible par FTP.
commande: newcat nom_catalogue
Le répertoire contient (liste non exhaustive):- le fichier ReadMe
- le fichier .status (ou .Summary dans le cas des grands catalogue)
- les donnéees tabulaires (un fichier "sample" pour le cas des grands catalogue: il s'agit d'un extrait du catalogue qui sera disponible par FTP)
- un fichier .files listant les fichiers qui seront accessible par FTP
- un fichier .history datant et signant les modifications
- etc
- Création des fichiers au format standards ASCII (colonnes alignées)
Note: dans le cas des grands catalogue, il s'agit du fichier "sample").
On pourra utiliser les programmes acut (voir doc: http://cdsarc.u-strasbg.fr/vizier/doc/acut.htx) et anafile (voir doc: http://cdsarc.u-strasbg.fr/vizier/doc/anafile.htx) - Ecriture du fichier ReadMe
En particuler la partie byte-2-byte (générée automatiquement dans une étape précedente). Le byte-2-byte peut se faire à l'aide du programme anafile (voir doc: http://cdsarc.u-strasbg.fr/vizier/doc/anafile.htx)
commande: anafile -ccg fichier
Vérification de la cohérence du fichier ReadMe avec les fichiers ASCII : anafile -f1 column_file file (ou "column_file" est un fichier byte-2-byte décrivant le fichier "file")
Standardisation du fichier byte-2-byte: anafile -fs ReadMe
Note: la commande est à exécuter dans le cas des grands catalogues. Dans ce cas la vérification de cohérence se fait entre le ReadMe et le fichier sample.
- Ecriture du fichier .Summary: cela comprend l'attribution des UCD.
ex: \vizUCD (voir doc http://vizier.u-strasbg.fr/doc/viz/#vizUCD)
La commande setUCD est à exécuter dans le répertoire de travail ; elle propose une liste d'UCD. Lorsqu'un seul UCD est donné pour 1 colonne, il sera utilisé par défaut.
La commande setUCD fournit les UCD1: ils sont préférable aux UCD1+ dans l'ingestion VizieR.
En effet, les UCD1 contiennent plus d'informations pour décrire les colonne magnitudes en décrivant mieux le filtre utilisé.
Les UCD1 sont utilisés par le programme d'ingestion VizieR pour générer les UCD1+ ainsi que pour déterminer les filtres utilisés par la sortie "sed" de VizieR.
Enfin, les UCD1 sont nécéssaires pour le protocole cone-search du VO.
Le fichier .Summary contient d'autres informations ou opérations qui seront pris en compte lors de l'ingestion du catalogue; par exemple:
- ajout de colonnes de positions calculées à partir de Simbad, NED ou d'un catalogue VizieR de référence
- ajout de liens vers un catalogue VizieR ou vers un site web externe
- ajout de graphes
- liste des colonnes par defaut
- ordre des colonnes
- etc (voir http://vizier.u-strasbg.fr/doc/viz/) - Rendre public le répertoire FTP
- vérification de la cohérence des fichiers avec la commande "modcat -F ." La commande créé un fichier .files où sont listés les fichiers qui sont accessible de l'extérieur.
- donner l'accès FTP avec la commande : make_public nom_catalogue
Note: les fichiers accessible par FTP sont gérés selon les droits UNIX. Cependant, il faut toujours utiliser les 2 commandes citées ci dessus pour exécuter cette opération!
Note: Lorsque la commande make_public est exécutée, le catalogue est rendu "public".
Chaque samedi la liste des récent catalogues est mis à jour dans un fichier type "parfile". Ce fichier rendra visible le catalogue depuis l'interface WEB "Catalogue collection" ainsi que sur le site d'ADS.
De plus, une news sera ajoutée au service de news du CDS. - Ingestion du catalogue dans VizieR en exécutant la commande "2v" a exécuter dans le répertoire de travail.
Suppression d'un catalogue VizieR
Supprimer un catalogue de l'application VizieR (http://vizier.u-strasbg.fr/viz-bin/VizieR) nécesite sa suppression en bases de données. Pour ce faire, la suppression doit etre exécutée sur chaque installation VizieR (VizieR local, VizieR prod et les mirroirs VizieR) . En effet la suppression d'un catalogue sur le serveur local n'implique pas la suppression de celui-ci sur les mirroirs (pour des raisons de sécurités). Il est possible néanmoins de forcer la suppression d'un catalogue sur le serveur local ainsi que sur tous les autres serveurs vizier (miroir inclus). La suppression des mirroirs se fera de manieres asynchrone lors du clonage journalier du miroir. La commande est a executer sous le repertoire du catalogue a supprimer: 2v -rmla commande :
- supprime de la base locale le catalogue
- cree un fichier batch "/home/cds/vizierbatch" qui sera execute sur les miroirs (y compris le serveur vizier)
yes: un nouveau fichier est créé et les anciennes commandes seront ignorées
no: la nouvelle commande de suppression est ajouter au fichier batch
Exemple: (de sortie 2v -rm)
Batch script exists
do you want to replace it ?? y
Batch script created: /home/cds/vizierbatch Note: la commande 2v utilise le script "vizbatch" qui créé le fichier batch /home/cds/vizierbatch avec la commande : getCat -rm nom_catalogue Suppression "manuelle" des catalogues des mirroirs Dans le cas où la méthode décrite ci-dessus n'est pas accessible, il est possible de supprimer "manuellement" un catalogue d'un miroir. Cette méthode exige la connaissance des login/password utilisés sur les miroirs. La procédure de suppression d'un catalogue sur une installation VizieR consiste :
- a se connecter sur le serveur (voir commande(s) dans le tableau suivant)
- a exécuter la commande de suppression
cd src/vizclone
./getCat -rm catalogue_name L'alternative batch permet de s'affranchir de la connection aux mirroirs (et donc de connaître les informations de connections comme le login/password).
- se connecter sur cds@cdsarc
- ecrire le script nommé "vizierbatch" (Attention, le nom est important!) quii doit être place sous le home directory du compte "cds", soit: /home/cds/vizierbatch
#!/bin/sh
./getCat -rm nom_catalogue - rendre le script executable: chmod +x vizierbatch
| Connection au serveur | Application web | |
| VIZIER | ssh cds@tapvizier | http://vizier.u-strasbg.fr/viz-bin/VizieR |
|---|---|---|
| CFA | ssh cds@pogo1.cfa.harvard.edu ssh vizier |
http://vizier.cfa.hard.edu/viz-bin/VizieR |
| UK | ssh cds@vizier.ast.cam.ac.uk | http://vizier.ast.cam.ac.uk/v-bin/VizieR |
| CADC | ssh cds@vizier.hia.nrc.ca | http://vizier.hia.nrc.ca/viz-bin/VizieR |
| ADAC | ssh cds@vizier.nao.ac.jp | http://vizier.nao.ac.jp/viz-bin/VizieR |
| SAAO | ssh cds@viziersaao.chpc.ac.za | http://viziersaao.chpc.ac.za/viz-bin/VizieR |
| HW | ssh cds@ssh.jach.hawaii.edu viz |
http://www.ukirt.jach.hawaii.edu/viz-bin/VizieR |
| IUCAA | ssh cds@vizier.iucaa.ernet.in | http://vizier.iucaa.ernet.in/viz-bin/VizieR |
| CH | ssh cds@vizier.china-vo.org | http://vizier.china-vo.org/viz-bin/VizieR |
| TAPVIZIER | ssh cds@tapvizier export PGPORT=5433 |
http://tapvizier.u-strasbg.fr/adql/ |
cd /opt/postgres/sql
set_temporary_unavailable.sh nom_catalogue OFF -- GillesLandais - 2014-01-30
Topic revision: r9 - 2015-01-22 - GillesLandais
Site map
Astronome web
More...
Create New Topic
Index
Search
Changes
Notifications
RSS Feed
Statistics
Preferences
Account 
 |
 |
|
|
|
Copyright © 2008-2024 by the contributing authors. All material on this collaboration platform is the property of the contributing authors. Ideas, requests, problems regarding TWiki? Send feedback