Tags:
create new tag
, view all tags
Suite à la réunion du 25-juillet-2019 : Gilles, FX, Pierre F

Sujet: génération d'un format pivot joignant le fichier ReadMe+les info du fichier de config d'ingestion (.tex) : brique élémentaire de l'ingestion VizieR
Possibilité d'avoir une personne en CDD pour commencer les travaux.

VizieR aujourd'hui

L'architecture VizieR aujourd'hui est monolithique et s'appuie sur 3 principale librairies : (en C)

  • libasu: acces aux donnees
  • libana: lecture des fihier ReadMe/.status (.tex) , extraction des stats des fichiers ascii standardise-CDS, test de coherence de l'ensemble
  • libas4: librairie de cacul en astro: coord positionnelle, temporelles, unites....
Les programmes principaux VizieR sont
  • vizier: interrogation de la base de données VizieR
  • vizin (2v) : ingestion des catalogues dans la base VizieR
  • anafile: test de coçherence des fichiers d'entrees pour l'ingestion
Note: ces 3 programmes utilisent les 3 librairies : asu, as4, ana

Nouvelle version

L'idée est de séparer anafile du reste et de le rendre completement independant en créant un programme qui fait le travail de la librairie anafile et serialize le résultat du parsing des metadonnees ReadMe/.status (.tex) dans un fichier réutilisable par le programme d'ingestion.

Ce fichier "pivot" serait aussi le lien avec le pipeline grand catalogue.

Création d'un format pivot en tant que lien entre les pipelines grands-catalogues et journaux.

  • un format lisible est preferable
  • format pivot reutilisable par le pipeline grand catalogue et par le futur vizin (2v)
  • PAS DE VOCATION DE REMPLACER le fichier ReadMe qui reste le standard!
    c'est celui qui est demande aux auteurs et qui est construit par les documentalistes. De plus, le ReadMe reste le fichier de META qui correspond aux données preservées (CTS) !
  • l'utilisation directe du format pivot par les documentalistes peut etre envisage à plus long terme (si le format est lisible) TODO: creation d'outils qui permettent les transformations:
  • ReadMe+.tex => pivot
  • pivot => ReadMe + .tex
  • grand catalog => pivot A DEFINIR:
  • format :TOML, json...
  • language: Java? python ?
  • contenu du fichier: ajouter les commandes grand catalogue? les mapping FITS ?
Topic revision: r1 - 2019-07-26 - GillesLandais
 
This site is powered by the TWiki collaboration platform Powered by PerlCopyright © 2008-2024 by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
Ideas, requests, problems regarding TWiki? Send feedback