Stage "Les logs" du CDS

Contexte et travail à mener

Le services (Simbad, VizieR, Aladin, ...) du CDS génèrent quotidiennement d'importantes quantités de logs. La création de statistiques n'est pas toujours aisée car elle requière souvent un travail "manuel" important de décompression de fichiers, de recoupement d'information, de recherche des origines des IP, etc...

Le but du stage est de permettre d'une part une génération de statistiques à la fois en temps réel et précalculées et d'autre part de proposer une interface de recherche dans les logs.

Les formats de logs étant actuellement variés, la première étape consistera à valider un format pivot qui sera utilisé ensuite par les services afin de générer un format unique de logs. Ce format unique permettra d'ingérer plus facilement les logs dans des outils qui permettront de créer des statistiques ou d'éffectuer des recherches dans les logs au travers d'une interface Web.

Pour la partie "format pivot", l'étudiant sera épaulé par les encadrants et par les personnes travaillant sur les différents services afin de lui fournir les logs dans ce format pivot. La partie qui sollicitera le plus l'étudiant portera sur l'évaluation/mise en oeuvre d'outils existants (état de l'art) permettant de générer des statistiques et d'effectuer des recherches dans les logs ainsi que le développement de petites applications et d'interfaces utilisateurs (pour paramétrer les statistiques voulues, effectuer des recherches, etc.). Le volume de choses à développer dépendra en grande partie des possibilités d'utilisation d'outils existants.

Cette nouvelle approche permettra de facto de croiser les statistiques des différentes services et à moyen terme d'effectuer des extractions de scénarios d'utilisation des services.