Exploitation (intelligente) des logs des services du CDS

L'objectif est de fournir un tableau de bord exploitant les logs des différents services sans solliciter les personnes qui en ont la charge.

Il faudra donc mettre en place un accès aux logs des différents services et développer ou sélectionner des outils qui permettront de les analyser à la volée avec si possible un croisement des différentes sources (et à terme l'extraction de connaissances à partir de l'utilisation des services (exemple : le cheminement des utilisateurs)).

Cela pourrait constituer un sujet de stage et on pourrait partir sur le planning prévisionnel suivant :

• inventaire et mise à plat les différents formalismes de logs utilisés au CDS
  • formats actuellement utilisés par les services
  • de quels métriques et indicateurs dispose-t-on ? est-ce suffisant ? que manque-t-il ?
  • prise en compte homogène des requêtes des bots
  • informations extraites d'une IP
  • Analogie avec les métriques de Piwik pour les pages Web
• état de l'art des outils de gestion/exploitation des logs
• choix d'un format (déjà utilisé au CDS ou plus neutre (cela dépendra sans doute des outils) ?) afin de créer un format pivot qui pourra être exploité dans des outils et en simplifiera la maintenance
• mise en place l'accès aux logs (avec critères type période, etc.)
• test des outils issus de l'état de l'art, il faudra notamment vérifier si l'on peut se passer de développements propriétaires *choix des outils les plus adaptés ou réalisation d'un développement propriétaire (ou le cas échéant un développement complémentaire pour pallier des manques)
• élaborations des tableaux de bord
• test et mise en production
• en complément : réflexion sur le croisement des logs des services et l'extraction de connaissances

• il ne s'agit pas de développer un format de logs mais de choisir un format existant qui servira de pivot, notamment pour les formats non standards (les formats "maisons")
• s'il existe un outil permettant d'ingérer tous les formats utilisés au CDS, il ne sera pas forcément nécessaire de choisir un format pivot