Réunion du 28/06/2022Présents : Marianne B., Ana F., Coralie F., Gilles L., Emmanuelle P., Alicia V., Patricia V.Renouvellement de l'architecture d'ingestion pour VizieRFichier JSON unique Alicia travaille actuellement à la fusion des deux "parseurs" ReadMe et .status en un seul. Le format utilisé est le JSON, pratique pour les manipulations informatiques. Le fichier global permet d'afficher l'entièreté des informations du ReadMe avec l'ajout des UCDs, des dates, des filtres, des colonnes calculées (ex. Obs.date et Obs.time dans le ReadMe est transformé en une seule colonne "Obs" dans VizieR), etc. | ||||||||
Changed: | ||||||||
< < | Exemple de fichier JSON "vizin" pour un merge: ![]() | |||||||
> > | Exemple de fichier JSON "vizin" pour un merge: ![]() | |||||||
Si c'est utile pour les documentalistes, une sortie plus lisible pourrait être créée afin de voir toutes les informations qui seront entrées dans la base : filtres, types de données, colonnes calculées, etc. Ce serait bien d'avoir le format/unité des données stockées aussi... N.B. flag VO_COLORCOL pour les colonnes ajoutées: Actuellement, les colonnes ajoutées ou calculées dans VizieR qui ne faisaient pas partie des données d'origine sont affichées en rouge dans l'interface Web (ex : \vizSimbad , \vizSimbadName , \vizNED , \vizLEDA , \vizAddColumn , \vizAddFKflag , \vizPosition , colonnes calculées pour les positions (ICRS/J2000) & dates, colonne "Full"...) Si on veut mettre une colonne en rouge pour spécifier qu'il s'agit d'une colonne ajoutée (sans être passé par \vizAddColumn -- par exemple, ajout d'une colonne directement dans la table FTP), on peut utiliser la commande \vizSet et flags|=VO_COLORCOL qui mettra toute la colonne en rouge sans passer par la commande LaTeX \fg ... Pour voir la liste des flags VO_ disponibles, voir dans METAcol et cliquer sur "Flag". "Build data" L'étape actuelle est la fusion des deux fichiers JSON mais on peut déjà réfléchir à la suite. | ||||||||
Changed: | ||||||||
< < | Schéma des étapes de la nouvelle ingestion VizieR: ![]() | |||||||
> > | Schéma des étapes de la nouvelle ingestion VizieR: ![]() | |||||||
Les API sont les modules déjà existants qui seront conservés.
Le nouveau fichier JSON "vizin" permettra :
=> A réfléchir.
![]() | ||||||||
Changed: | ||||||||
< < |
| |||||||
> > |
| |||||||
Différentes remarques :
Dans tous les cas, le résultat du travail permettrait d'inclure automatiquement les \vizUCD dans le .status Pour les ucd1+, ce serait probablement une bonne idée de suivre ce qui se passe au niveau du VO pour avoir les dernières mises à jour. Emmanuelle veut bien faire partie du groupe avec Mireille et Seb...(Voir CR du 26/03/2019 pour lequel il y a toujours le fichier de correspondance UCD1/ucd1+ de 2005 sur la page IVOA (mais on doit avoir plus récent ailleurs) et je ne suis pas sûre que les ucd1+ demandés aient été ajoutés dans la dernière version de 2018 du coup ?). | ||||||||
Added: | ||||||||
> > |
Em (29/06/2022) : Mireille vient de m'ajouter à l'"UCD Science board" de l'IVOA qui discute des demandes pour les nouveaux UCDs (demandes reçues via la liste semantics@ivoa.net). Les dernières listes d'ucd1+ valides sont sur le Git : https://github.com/ivoa-std/UCDList (fichier ucd-list.txt et ucd-list-deprecated.txt pour faire la différence avec les anciennes versions). Grégory Mantelet a développé la librairie ucidy pour vérifier la cohérence d'une liste d'ucd1+ avec les dernières versions valides (cet outil est utilisé pour TOPCAT). | |||||||
Voir aussi CR du 27/02/2018 pour les premières discussions sur le passage UCD1 vers ucd1+ et CR du 21/03/2018 où on rappelait que setUCD ne sert pas seulement à l'attribution des UCDs mais fait des vérifications via la commande vizcat .
-- EmmanuellePerret - 2022-06-28
|
Réunion du 28/06/2022Présents : Marianne B., Ana F., Coralie F., Gilles L., Emmanuelle P., Alicia V., Patricia V.Renouvellement de l'architecture d'ingestion pour VizieRFichier JSON unique Alicia travaille actuellement à la fusion des deux "parseurs" ReadMe et .status en un seul. Le format utilisé est le JSON, pratique pour les manipulations informatiques. Le fichier global permet d'afficher l'entièreté des informations du ReadMe avec l'ajout des UCDs, des dates, des filtres, des colonnes calculées (ex. Obs.date et Obs.time dans le ReadMe est transformé en une seule colonne "Obs" dans VizieR), etc. | ||||||||
Changed: | ||||||||
< < | Exemple de fichier JSON "vizin" pour un merge: ![]() | |||||||
> > | Exemple de fichier JSON "vizin" pour un merge: ![]() | |||||||
Si c'est utile pour les documentalistes, une sortie plus lisible pourrait être créée afin de voir toutes les informations qui seront entrées dans la base : filtres, types de données, colonnes calculées, etc. Ce serait bien d'avoir le format/unité des données stockées aussi... N.B. flag VO_COLORCOL pour les colonnes ajoutées: Actuellement, les colonnes ajoutées ou calculées dans VizieR qui ne faisaient pas partie des données d'origine sont affichées en rouge dans l'interface Web (ex : \vizSimbad , \vizSimbadName , \vizNED , \vizLEDA , \vizAddColumn , \vizAddFKflag , \vizPosition , colonnes calculées pour les positions (ICRS/J2000) & dates, colonne "Full"...) | ||||||||
Changed: | ||||||||
< < | Si on veut mettre une colonne en rouge pour spécifier qu'il s'agit d'une colonne ajoutée (sans être passé par \vizAddColumn -- par exemple, ajout d'une colonne directement dans la table FTP), on peut utiliser la commande \vizSet et flag=VO_COLORCOL qui mettra toute la colonne en rouge sans passer par la commande LaTeX \fg ... | |||||||
> > | Si on veut mettre une colonne en rouge pour spécifier qu'il s'agit d'une colonne ajoutée (sans être passé par \vizAddColumn -- par exemple, ajout d'une colonne directement dans la table FTP), on peut utiliser la commande \vizSet et flags|=VO_COLORCOL qui mettra toute la colonne en rouge sans passer par la commande LaTeX \fg ... | |||||||
Pour voir la liste des flags VO_ disponibles, voir dans METAcol et cliquer sur "Flag". "Build data" L'étape actuelle est la fusion des deux fichiers JSON mais on peut déjà réfléchir à la suite. | ||||||||
Changed: | ||||||||
< < | Schéma des étapes de la nouvelle ingestion VizieR: ![]() | |||||||
> > | Schéma des étapes de la nouvelle ingestion VizieR: ![]() | |||||||
Les API sont les modules déjà existants qui seront conservés.
Le nouveau fichier JSON "vizin" permettra :
=> A réfléchir.
![]() | ||||||||
Changed: | ||||||||
< < |
| |||||||
> > |
| |||||||
Différentes remarques :
| ||||||||
Changed: | ||||||||
< < |
| |||||||
> > |
| |||||||
Dans tous les cas, le résultat du travail permettrait d'inclure automatiquement les \vizUCD dans le .status Pour les ucd1+, ce serait probablement une bonne idée de suivre ce qui se passe au niveau du VO pour avoir les dernières mises à jour. Emmanuelle veut bien faire partie du groupe avec Mireille et Seb...(Voir CR du 26/03/2019 pour lequel il y a toujours le fichier de correspondance UCD1/ucd1+ de 2005 sur la page IVOA (mais on doit avoir plus récent ailleurs) et je ne suis pas sûre que les ucd1+ demandés aient été ajoutés dans la dernière version de 2018 du coup ?). | ||||||||
Changed: | ||||||||
< < | Voir aussi CR du 27/02/2018 pour les premières discussions sur le passage UCD1 vers ucd1+ et CR du 21/03/2018 où on rappelait que setUCD ne sert pas seulement à l'attribution des UCDs mais fait des vérifications via la commande vizcat. | |||||||
> > | Voir aussi CR du 27/02/2018 pour les premières discussions sur le passage UCD1 vers ucd1+ et CR du 21/03/2018 où on rappelait que setUCD ne sert pas seulement à l'attribution des UCDs mais fait des vérifications via la commande vizcat . | |||||||
-- EmmanuellePerret - 2022-06-28
|
Réunion du 28/06/2022Présents : Marianne B., Ana F., Coralie F., Gilles L., Emmanuelle P., Alicia V., Patricia V.Renouvellement de l'architecture d'ingestion pour VizieRFichier JSON unique Alicia travaille actuellement à la fusion des deux "parseurs" ReadMe et .status en un seul. Le format utilisé est le JSON, pratique pour les manipulations informatiques. Le fichier global permet d'afficher l'entièreté des informations du ReadMe avec l'ajout des UCDs, des dates, des filtres, des colonnes calculées (ex. Obs.date et Obs.time dans le ReadMe est transformé en une seule colonne "Obs" dans VizieR), etc. Exemple de fichier JSON "vizin" pour un merge:![]() Ce serait bien d'avoir le format/unité des données stockées aussi... N.B. flag VO_COLORCOL pour les colonnes ajoutées: Actuellement, les colonnes ajoutées ou calculées dans VizieR qui ne faisaient pas partie des données d'origine sont affichées en rouge dans l'interface Web (ex : \vizSimbad , \vizSimbadName , \vizNED , \vizLEDA , \vizAddColumn , \vizAddFKflag , \vizPosition , colonnes calculées pour les positions (ICRS/J2000) & dates, colonne "Full"...) Si on veut mettre une colonne en rouge pour spécifier qu'il s'agit d'une colonne ajoutée (sans être passé par \vizAddColumn -- par exemple, ajout d'une colonne directement dans la table FTP), on peut utiliser la commande \vizSet et flag=VO_COLORCOL qui mettra toute la colonne en rouge sans passer par la commande LaTeX \fg ... Pour voir la liste des flags VO_ disponibles, voir dans METAcol et cliquer sur "Flag". "Build data" L'étape actuelle est la fusion des deux fichiers JSON mais on peut déjà réfléchir à la suite. Schéma des étapes de la nouvelle ingestion VizieR: ![]()
=> A réfléchir.
![]()
Différentes remarques :
Dans tous les cas, le résultat du travail permettrait d'inclure automatiquement les \vizUCD dans le .status Pour les ucd1+, ce serait probablement une bonne idée de suivre ce qui se passe au niveau du VO pour avoir les dernières mises à jour. Emmanuelle veut bien faire partie du groupe avec Mireille et Seb...(Voir CR du 26/03/2019 pour lequel il y a toujours le fichier de correspondance UCD1/ucd1+ de 2005 sur la page IVOA (mais on doit avoir plus récent ailleurs) et je ne suis pas sûre que les ucd1+ demandés aient été ajoutés dans la dernière version de 2018 du coup ?). Voir aussi CR du 27/02/2018 pour les premières discussions sur le passage UCD1 vers ucd1+ et CR du 21/03/2018 où on rappelait que setUCD ne sert pas seulement à l'attribution des UCDs mais fait des vérifications via la commande vizcat. -- EmmanuellePerret - 2022-06-28
|