Stage de François Bock - DUT Schuman - [10/04/17 au 23/06/17]

Important : cette page est réservée au suivi du stage, merci de ne pas la modifier

Informations générales pour les stagiaires

Pour toute information concernant ce stage : contacter Mireille, Françlois

Sujet

• Proposition de stage

Stage (Avril - juin 2017)

Avril

• 10, arrivée, presentation de l'observatoire
• 10, présentation des métiers et services
• 10, présentation du sujet de stage & lecture de documents
• 11, lecture document sur le modèle W3C Provenance, et sur l'IVOA
• 11 - 14 Création d'un modele relationnel

• 18, création de script postgreSQL pour créer une BDD
• 19, insertion de lignes de test dans cette base
• 20, création d'un trigger PostgreSQL pour ajout automatique de donnée dans une table & test du script
• 21, discussion avec les tuteurs sur le travail effectué, decouverte du format VOTAble
• 21, début de rédaction permettant de lire un fichier VOTable

• 24, Le script permettant de lire un fichier VOTable est terminé
• 25, Test de ce script, probleme d'encodage utf-8
• 25, Optimisation du script VOTable, résolution partiel du probleme d'encodage
• 26, Ecriture d'un script Python permettant de créer un fichier VOTable en fonction d'une requete SQL donnée
• 27-28, probleme de données qui se perd lors de l'ingestion d'un fichier VOTable
• Premiere phase du MLD

• MLD 2eme phase

• MLD 3eme phase

Mai

• 2, toujours en recherche d'une solution pour les informations qui se perdent
• 3, résolution du probleme, grace a l'ajout d'une table spéciale dans la BDD
• 4, compréhension du format JSON et création d'un script qui parse un fichier JSON
• 5, création d'un script python qui permet de generer un fichier JSON suivant une requete SQL donnée en entré
• 5, création d'une petite interface graphique qui permet une connexion a la base de donnée, mais abandonné car jugé inutile

• 9-10, création d'une fonction qui remplit la base de données avec un fichier JSON donnée en entrée.
• 11, test de cette fonction, probleme d'encode UTF-8 comme le format VOTable
• 12, correction du probleme d'encodage + discussions avec les tuteurs
• 12, création d'un script qui test la validité d'un fichier JSON et VOTable

• 15, correction d'un bug dans le trigger SQL (Il manqué une conditions)
• 15, correction d'un probleme de clé unique dans la base (Création d'un couple d'identifiant unique)
• 16-19, création de script permettant de retracé l'historique d'une donnée dans un seul sens (Descente)

• Exemple de génération basique

• Exemple de génération complexe

• 22-23, création d'une interface graphique permettant de générer les graphiques
• 24-30, amélioration du programme qui permet maintenant de générer un graphe dans les 2 sens (ascendant et descendant)

• Interface:

Juin

• 1, présentation du travail aux tuteurs
• 1-2, optimisation des programmes, tests, correction de bug
• 5-6, documentation des scripts.
• 7-9, ajouts de nouvelles tables dans la base (collections et parametre)

Liens

Versions testables

• Les différents scripts sont présents dans les pieces jointes
• interface.py est le programme le plus intéressant a testé (création des graphes)

Documentation

• Rapport de stage : Rapport_BOCK_Franois.pdf
• Soutenance : Soutenance.pdf

Travail post stage éventuel

Liste des améliorations à envisager

• Optimisation des différents scripts en particulier celui qui permet de générer des graphes getProg.py

Bugs connus

• Des problemes d'encodages peuvent survenir dans certains cas
• Probleme relationnel dans la base suivant l'orde d'insertions des données exemple ( ne pas inserer une donnée dans la table "Used" si l'entité n'as pas été encore déclarée