Tags:
create new tag
, view all tags

Inventaire rapide des formats

Logs "génériques"

Simbad

(Anais)

Concernant Simbad, on a bien entendu les logs traditionnels apache (à priori TOUS les champs sont utiles). Malheureusement, quand il s'agit d'un POST on n'a pas d'info sur le détail de la requête. On a également une base de donnée de logs qui est remplie par les serveurs Java. Elle contient un minimum d'info, et elle contient les connexions des clients + les intérrogations + les commandes de mise à jour

Voir ci dessous

Pour le choix de pister l'orginie de l'adresse IP, Marc a une liste de sous domaines associés à des pays

creationdate appliname classname methodname category logcode username hostname session message intnumber dblnumber txt
2014-01-01 06:45:01.936 Simcli cds.appli.SimcliServer run CONNECTION 20 daemon 130.79.128.4=:v1332viz/130.79.128.30 266378 simcli client connected 5 126.267677307129  
2014-01-01 06:45:01.962 Simcli cds.appli.SimcliServer idQuery QUERY 1 daemon 130.79.128.4=:v1332viz/130.79.128.30 266378       NGC 4845
2014-01-01 06:45:01.832 SimbadServer cds.simbad.server.SimbadQuery ident QUERY 11       NGC 4845   168.39868927002  
2014-01-01 06:45:02.487 Simcli cds.appli.SimcliServer run CONNECTION 21 daemon 130.79.128.4=:v1332viz/130.79.128.30 266378 simcli client disconnected 5 127.745796203613  
2014-01-01 06:45:02.756 Simcli cds.appli.SimcliServer run CONNECTION 20 daemon 130.79.128.175=:v1332viz/130.79.128.30 266379 simcli client connected 5 128.061737060547  
2014-01-01 06:45:02.652 SimbadServer cds.simbad.server.SimbadQuery ident QUERY 11       NGC 4845   126.300392150879  
2014-01-01 06:45:02.780 Simcli cds.appli.SimcliServer idQuery QUERY 1 daemon 130.79.128.175=:v1332viz/130.79.128.30 266379       NGC 4845
2014-01-01 06:45:03.339 Simcli cds.appli.SimcliServer run CONNECTION 21 daemon 130.79.128.175=:v1332viz/130.79.128.30 266379 simcli client disconnected 5 129.564758300781  
2014-01-01 06:45:08.925 Simcli cds.appli.SimcliServer run CONNECTION 20 daemon cdswatch:/130.79.128.76 266380 simcli client connected 5 129.995323181152  
2014-01-01 06:45:08.822 SimbadServer cds.simbad.server.SimbadQuery ident QUERY 11       hd 1   127.105659484863  
2014-01-07 12:50:17.336 SimbadServer cds.simbad.server.SimbadApi endTransaction UPDATE 2 sa   91035757269876736       COMMIT
2014-01-07 12:47:30.014 SimbadServer cds.simbad.server.SimbadUpdate log UPDATE 10 sa   91035746291875840       Update has_bib_ref set ref_raw_id = 'NGC 5846', ref_norm_id = 'NGC 5846', ref_flag = 384, obj_freq = 3 , oidbibref = 293200 where oidbibref = 293200::int8 and oid4ref = 2648159::int8
2014-01-07 12:47:29.933 SimbadServer cds.simbad.server.SimbadUpdate log UPDATE 2 sa   91035746291875840       Select oid4 from basic_data where oid4 = 2648159::int8 for update NOWAIT
2014-01-07 12:47:29.817 SimbadServer cds.simbad.server.SimbadQuery bibcodeRef UPDATE 32 sa   91035746291875840       select oidbib from bib_ref where oidbib = 293200::int8 for update NOWAIT
2014-01-07 12:47:29.814 SimbadServer cds.simbad.server.SimbadApi endTransaction UPDATE 2 sa   91035746262515712       COMMIT

VizieR

(Gilles)

Contexte

Sont traités ici :

  • VizieR
  • TAPVIzieR
  • FTP+Archives VizieR et ingestion des catalogues
  • service(s) des grands catalogues
  • Sesame
Les services sont repartis sur les serveurs:
  • vizier.u-strasbg.fr et ses mirroirs: service web VizieR
  • vizdb.u-strasbg.fr : base de données VizieR + service web VizieR de secours
  • tapvizier.u-strasbg.fr: bases de données PostgreSQL + service TAPVizieR
  • cdsweb.u-strasbg.fr: serveur du cds incluant le serveur sesame principal
  • axel.u-strasbg.fr: serveur de grands catalogues + service sesame de secours
  • cdsarc.u-strasbg.fr: serveur FTP , archives + ingestion des catalogues
Note: chaque base de donnees VizieR peut servir le service VizieR du CDS

--++++ Traitement des logs par service

Les differents types de logs utilises aujourd'hui sont:

  • les logs apaches
  • les logs dedies aux services ayant chacun leur propre syntaxe et stocke sous forme de fichiers
  • les logs en base de donnees pour la popularites des catalogues ou l'audit de mise a jour des tables

1- Le service VizieR

  • Les logs apache: ils sont traites par piwiks (page HTML) + webanalyser ( HISTORISATION des fichiers access.log pour le serveur VizieR du CDS )

  • Les logs dedies VizieR:(fichiers vpar.log) stockes localement sur chaque mirroir. ( HISTORISATION sur le serveur VizieR du CDS )
Ces fichiers peuvent etre analyses par le programme statistic2.py (qui utilise une liste interne pour les robots)

  • Les logs base de donnees: tables METAstat, METAhit, METApop pour la poularite des catalogues. (les tables d'audit sont systemes , propre a la mise a jours des tables META de VizieR: elles n'ont pas a etre ajoutees dans le service de log du CDS)

2- Le service TAPVizieR

  • Les logs apache: ils sont traites par piwiks (page HTML) ( HISTORISATION (pas vraiment gere) sur le serveur local )

  • Les logs tomcat: stokes et historises sur le serveur tapvizier. ( HISTORISATION (pas vraiment gere) sur le serveur local)

3- Le service FTP,Archives

  • Les logs apaches: ils sont traites par piwiks (page HTML) + webanalyser (site web utilise aussi pour generer les plot VizieR) ( HISTORISATION des fichiers access.log en local )

  • Les logs FTP: /var/log/xferlog, /var/logvsftpd.log (standards Linux) ( HISTORISATION en local )

  • services aclient (ex: service qcat pour la recherche par mot cle) /var/log/rcatd.log (dedies) ( HISTORISATION absente! )

4- Le service de grands catalogues

  • logs apache (pour l'acces aux grands catalogues via HTTP) ( HISTORISATION absente! )

  • services aclient (catalogue version FO): /var/log/rcatd.log (dedie) ( HISTORISATION en local )

  • service xmatchcat (catalogue version FX): /var/log/syslog

Note
les fichiers sont stockes sous les serveurs ou resident les services. Soit les mirroirs vizier ET la machine axel ( HISTORISATION absente! )

5 - Le service sesame

  • logs apache: difficile car sous glus et peut donc balancer d'un serveur à l'autre (supervision par webanalytics - voir plus bas) ( HISTORISATION des fichiers access.log en local )

  • fichiers dedies sesame.logs local a la machine. ( HISTORISATION en local )

Outils de supervisions et de statistics

  • Scripts:
    • stat.py: TAPVizieR (nombre de requetes TAP pour une journee)
    • statistic2.py: VizieR & mirroirs (fichier vpar.log)

Aladin

à compléter

Les outils collaboratifs

  • Essentiellement des logs Apache
  • Logs supplémentaires donnant le détail des opérations effectuées
  • Exemple :

2014-01-01 - 00:48 guest rdiff TWikiPlugins 36 1 Mozilla 46.161.41.24
2014-01-01 - 00:50 guest view TimeSpecifications Mozilla 66.249.74.49
2014-01-01 - 00:51 guest view TWikiTemplates raw=on Mozilla 46.161.41.24
2014-01-01 - 00:56 guest view WikiWord Mozilla 208.115.113.90
2014-01-01 - 01:08 guest view TopMenuSkinDefaultWebTopMenu Mozilla 66.249.74.49
2014-01-01 - 01:11 guest view PatternSkinGraphics Mozilla 46.161.41.24
2014-01-01 - 01:30 guest view TechForum2 SAMSUNG 66.249.74.49
2014-01-01 - 01:34 guest view TagMeSearch Mozilla 180.76.5.77
2014-01-01 - 01:36 guest view VarICON Mozilla 66.249.74.49
2014-01-01 - 01:48 guest view KickOff Mozilla 193.111.141.54
2014-01-01 - 01:51 guest view TWikiLogos r5 Mozilla 46.161.41.24
2014-01-01 - 01:59 guest view WysiwygPluginTopicLister Mozilla 66.249.74.49
2014-01-01 - 02:06 guest view TWikiUsersGuide Mozilla 46.161.41.24
2014-01-01 - 02:21 guest view WebChanges Mozilla 110.85.70.26
2014-01-01 - 02:42 guest view RegularExpression Mozilla 208.115.111.74
2014-01-01 - 02:45 guest view TWikiSkins Mozilla 66.249.74.49
2014-01-01 - 03:08 guest view JSCalendarContrib Mozilla 66.249.74.49
2014-01-01 - 03:20 guest view TWikiInfixErrorDotPm Mozilla 66.249.74.49
2014-01-01 - 03:25 guest view CoSADIE msnbot 65.55.213.67
2014-01-01 - 03:25 guest view CoSADIE msnbot 65.55.213.67
2014-01-01 - 03:27 guest view WebChangesAlert DoCoMo 66.249.74.49
2014-01-01 - 03:31 guest view VarBB4 Mozilla 66.249.74.49
2014-01-01 - 03:42 guest view CoSADIE Mozilla 66.249.74.49
2014-01-01 - 03:56 guest view TWikiDocumentation Mozilla 120.37.230.86
2014-01-01 - 03:58 guest view TWikiDocumentation Mozilla 182.91.27.106
2014-01-01 - 04:17 guest view TechForum1 Mozilla 5.255.253.5
2014-01-01 - 04:21 guest view LoginName Mozilla 66.249.74.49
2014-01-01 - 04:40 guest view TechForum2 Mozilla 66.249.74.49

iRODS

  • L'utilisation est exclusivement privée mais il serait sans doute intéressant de donner un accès simplifié aux logs (ex: en cas de problème des services TAP, du XMatch)

Web Services SOAP

  • Log Apache + format de logs complémentaire développé il y a une dizaine d'années
  • Le service sera arrêté le 1/4/2014 donc pas besoin de le prendre en compte
Attachments Attachments
Topic attachments
I Attachment Action Size Date Who Comment
Unknown file formatEXT apache201306 manage 222.3 K 2014-02-20 - 09:36 AnaisOBERTO exemple de log apache de Simbad
Edit | Attach | Print version | History: r6 < r5 < r4 < r3 < r2 | Backlinks | Raw View | Raw edit | More topic actions
Topic revision: r6 - 2014-02-26 - AndreSchaaff
 
This site is powered by the TWiki collaboration platform Powered by PerlCopyright © 2008-2024 by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
Ideas, requests, problems regarding TWiki? Send feedback