Les logs du CDS

• Site créé : http://cdslog.u-strasbg.fr/statistics/quick_stats

• Objectifs : inventorier l'existant en terme de gestion des logs, démarrer une réflexion sur l'homogénéisation des logs afin de faciliter notamment leur exploitation à divers niveaux (tableaux de bord, croisement (extraction de connaissances, scénarios, ...), etc.), mettre en oeuvre les choix
• Introduction
• Remarques (à propos de l'existant) collectées avant la réunion 1
• Première réunion le jeudi 16 janvier 2014 à 10h30 en salle de réunion du bat. Coupole
  • Compte-rendu de la première réunion
• Réunion le mardi 18 février 2014 à 11h00
  • Réunion Anais / André
• Deuxième réunion le jeudi 20 février 2014 à 11h00 en salle de réunion du bat. Est
  • Compte-rendu de la deuxième réunion
• Des liens pêle-mêle
• A noter que les fichiers json doivent être écrits avec un objet par ligne (pas un tableau avec toutes les entrées), pour permettre de retrouver la position dans le fichier s'il a déjà été traité et pour permettre un traitement en streaming évitant une surcharge de mémoire si on doit lire la totalité du fichier.
• Travail de stage ElasticSearch + Mongo (2015) pages du stage
• Travail de stage Mongo + python + Highcharts (2016) pages du stage
• Présentation ELK + état des lieux Infusion : 15/12/2017
• Exemple de json généré depuis un log apache simbad, puis inséré dans la base mongo

• Compte-rendu

Calendrier

• 12/2013 : premières discussions
• 16/01/2014 : première réunion pour définir les objectifs et préparer le travail à mener
• 20/02/2014 : seconde réunion avant le démarrage du stage afin de finaliser différents points (format pivot, logs à récupérer au niveau des services, première proposition d'architecture, etc.)
• 24/02/2014 : début du stage de 11 semaines
• 11/04/2014 : une première présentation du travail dans le cadre de la réunion Infusion
• 9/05/2014 : fin du stage
• après le stage : un debriefing complet (résultat du stage, architecture, outils disponibles, etc.)
• 04/04/2016: reprise du travail, stage de Thierry Lacoste