Prototypage d’un service offrant la possibilité aux utilisateurs d’exécuter leurs propres codes auprès des données (Spark, Docker, Jupyter, intégration continue, aspects sécurité). « Dockerisation » de services existants.

Contexte:

Le CDS est une équipe d’une trentaine de personnes (1/3 d’astronomes, 1/3 d’informaticiens et 1/3 de documentalistes) au sein de l’Observatoire astronomique de Strasbourg (env. 80 personnes). Il héberge plusieurs services de données astronomiques de renommée mondiale.

Sujet du stage:

Dans le cadre de l’évolution importante des quantités de données que nous serons amenés à gérer dans les années à venir et dans l'optique de faciliter les traitements appliqués à ces données nous souhaitons mettre en œuvre une architecture permettant à un utilisateur d’exécuter son propre code (par exemple une application écrite en Java ou en Python) en utilisant nos données et ceci en complément de l’utilisation habituelle via des formulaires en ligne. On peut imaginer que cela se fera via des Notebook Jupyter (qui deviennent très populaires). L'étudiant(e) sera amené(e) à utiliser également des outils comme Docker et Spark. Le travail impliquera la mise en œuvre et la « customisation » d’Apache Spark qui permet de distribuer les traitements sur plusieurs serveurs (avec également une répartition des données). Un travail complémentaire visera à utiliser Docker pour simplifier la mise en oeuvre et la maintenance opérationnelle de nos services. L'étudiant(e) sera en permanence encadré(e) et conseillé(e) par les encadrants du stage et les responsables des services impactés. Ce stage nécessite donc une bonne capacité à dialoguer avec plusieurs intervenants.

Profil recherché :

Etudiant intéressé par les aspects R&D et souhaitant se former notamment aux outils du "DevOps", une flexibilité au niveau programmation (à priori pas de développements lourds mais un langage de programmation (Java, Python, Javascript) pouvant varier suivant les services et outils impactés), une aptitude à rechercher / apprendre / expérimenter de nouvelles technologies, une bonne organisation pour gérer les différentes étapes. Au niveau humain, une aptitude au dialogue et au travail en équipe permettra de mener à bien ce travail.