Ce que je comprends du projet des logs

Charles Côté

• Produire un programme qui prendra une des 3 sortes de log (Simbad, VizieR ou Aladin) et qui produira un log commun aux 3.

• André : cela faisait partie des discussions, à priori chaque service fournirait directement ses logs dans le format pivot et s’occuperait donc de faire la conversion vers ce format pivot, mais tu peux tre bien écrire un programme de conversion à titre d’exemple

Par ailleurs les logs ne concernent pas que les 3 services Simbad/VizieR/Aladin

L’intéret du format pivot c’est que l’on peut avoir pas mal de services différents à partir du moment qu'il y a une conversion des « logs bruts » vers le format pivot

• Le programme pourrait être écrit en Java et faire appel à la base de données via PostgreSQL.

  • • À revoir : Gestion de fichiers textes en Java

André : cela peut se faire en Java ou dans un langage comme Python (on se limitera aux langages que l’on utilise au CDS pour éviter les problèmes de reprise du travail après la fin de ton stage)

Pour la partie base de données, on pensait effectivement injecter les données du format pivot dans une base de données (je ne sais pas si c’est ce à quoi tu fais référence dans ta proposition)

Charles : Oui, c'est exactement à quoi je pensais

• Le format résultant (format pivot) pourrais être le TSV (Tab-separated values) ou CSV (Coma Separated Values) car les 2 semblent corrects pour cette utilisation

André : Oui, c’est exactement cela

• Voici les données (champs) que contiendra le format pivot :

IP

Date(en secondes)

Service

User-Agent / configuration

return code

query-string

méthode

• • Les champs me semblent tous clairs, par contre j'aimerais seulement confirmer si query-string est bien l'entrée de l'utilisateur pour sa recherche (par exemple « Sirius » pour trouver de l'information sur l'objet Sirius et reformuler ce qu'est return-code (Est-ce que c'est le résultat de la recherche de l'utilisateur?).

André : le query-string est effectivement lié à la requête d’un utilisateur et nous aurons une liste de (clé, valeur)

Pour le return-code, on pense remonter les codes d’erreur mais d’après les discussions on peut estimer que c’est optionnel

• • Service : J'imagine qu'il y a seulement 3 choix pour ce champ (Simbad, VizieR ou Aladin)

André : non, on ne se limite pas à ces 3 services

• Le format de Simbad est-il bien celui ci :

95.103.41.34 - - [01/Jun/2013:00:00:02 +0200] "GET /simbad/sim-script?script=format%20object%20%22%25COO(d;A%20D)%5Cn%25IDLIST(1)%22%0Aset%20epoch%20J2000%0Aset%20limit%203%0A%20query%20id%20hip HTTP/1.1" 200 585 "-" "Mozilla/5.0"

130.79.128.30 - - [01/Jun/2013:00:00:02 +0200] "GET /simbad/sim-nameresolver?Ident=AM2229-735&option=strict&Data=@,I.0,C.0,J,J.E,P,X,V,D,S,T,%23B HTTP/1.0" 200 217 "-" "wwwget/3.09"

66.249.73.200 - - [01/Jun/2013:00:00:02 +0200] "GET /simbad/sim-id?Ident=%5BZJM2003%5D%20SA%2095-1141 HTTP/1.1" 200 18184 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Questions :

• Est-ce qu'il y a seulement 3 différentes sortes de log ou bien il y en a plus ?

André : il y en a plus mais on va débuter par les plus courants

• Pourrais-je avoir un exemple de chacun de ces logs ?

André : je te donne ceux d’Aladin, Anais ceux de Simbad, je vais demander à Gilles de te faire un gzip d’un ensemble de logs de VizieR

• Ou sont stockés les logs présentement ? Sur Piwik ?

André : comme le disait Anais les logs sont pour l’instant dispersé aux niveaux des services, Piwik ne traite que les logs Web

• Quels sont les formats de ses logs ?

André : nous allons te donner cela

• Les champs du format données plus haut sont-ils toujours exacts ?

Anais : par exemple pour les entrées de log apache Simbad ci dessus on obtiendrait :
95.103.41.34 \t 01/Jun/2013:00:00:02 \t Simbad \t "Mozilla/5.0" \t 1 \t script=format%20object%20%22%25COO(d;A%20D)%5Cn%25IDLIST(1)%22%0Aset%20epoch%20J2000%0Aset%20limit%203%0A%20query%20id%20hip \t script
Certains champs peuvent rester vides (ou NULL) selon les services / méthodes