Stage de Nicolas Viard - IUT Charlemagne Nancy - [8/04/13 au 14/06/13]

Important : cette page est réservée au suivi du stage, merci de ne pas la modifier

Informations générales pour les stagiaires

Pour toute information concernant ce stage :

Sujet

• Proposition de stage

Documents de travail

• Etat de l'art

Stage (avril - juin 2013)

Avril

• 8, arrivée
• 8,9,10,15, diverses présentations des services, du travail de documentaliste et du VO
• Définitions des termes relatifs au cloud computing/storage
• Recherches sur les différents founrnisseurs, établissement d'un comparatif
  Problèmes identifiés :
  • arrêts soudains de certains fournisseurs
  • compléxité d'utilisation des différentes API
• Recherches effectuées sur les divers moyens de contourner les api fournisseurs (jclouds, deltacloud, dasein...)
• Recherches complémentaires effectuées sur les fournisseurs compatibles avec jclouds dans le but de trouver des versions d'essais compatibles
  jclouds.ods
  Résultats : possibilités de tests avec cloud sigma, go2cloud et la plate forme d'évaluation VMWare
• Développement de classes permettant d'intéragir avec cloudsigma, go2cloud et vmware via jclouds (sur serveur svn : projets/viard/jclouds)
  Résultats :
  • impossible de se connecter aux versions d'évalution de cloudsigma et go2cloud autrement que via l'interface web fournie
  • problèmes lors de la connexion au serveur de test vmware qui n'est pas compatible avec jclouds (contrairement à des serveurs basés sur l'outil de vmware)

Mai

• Etude plus précise des possibilités de la plate-forme d'évaluation de VMware et de deltacloud / dasein
• Lancement manuel d'un serveur LAMP sur la plate-forme d'évaluation de VMware
• Développement de classes permettant d'intéragir avec vmware via dasein (sur serveur svn : projets/viard/dasein)
• Comparaison des prix d'un serveur de données 25 To avec 1 Go/jour téléchargé

Juin

• Comparaison des prix d'un serveur de calcul d'environ 16 Go mémoire pour 8 unités de calcul et 1 To de stockage
• Comparaison des prix d'un serveur de données 25 To avec 1 Go/jour téléchargé
• Comparaison des temps d'éxécution d'une application Java consommatrice en local et dans le cloud
• Evolution du temps de réponse d'un serveur dans le Cloud : résultats
• 11 pré-soutenance
• 20 soutenance

Sauvegardes

• Vous avez accès à un serveur SVN sauvegardé quotidiennement (identifiants donnés au début du stage)
• svn://quiwi2.strasbg.fr/projets/viard

Liens

Fournisseurs

• opennebula.org
• http://tel.archives-ouvertes.fr/tel-00793092
• http://www.cloudstoragefinder.com/
• http://www.cloudbees.com/?gclid=CKi_19-jvbYCFbLMtAodkk8AFg#slide-2
• http://www.justcloud.com/
• http://www.symform.com/our-solutions/storage-backup/unlimited-free-cloud-backup/
• https://www.box.com/home/

Documentation

• Cloud bursting : http://h30458.www3.hp.com/fr/fr/ent/1155749.html
• Comparaison IaaS : http://www.techrepublic.com/blog/datacenter/11-cloud-iaas-providers-compared/5285
• Outil de comparaison des fournisseurs de cloud computing : https://cloudsleuth.net/global-provider-view
• Article présentant les outils permettant d'intéragir avec différents fournisseurs : http://blog.programmableweb.com/2010/03/18/7-ways-to-beat-the-glut-of-cloud-apis/
• Article présentant Dasin Cloud : http://broadcast.oreilly.com/2010/01/dasein-cloud-and-the-vcloud-api.html

Outils utilisés

• jclouds : http://www.jclouds.org/
• dasein : https://github.com/greese/dasein-cloud/wiki
• deltacloud : http://deltacloud.apache.org/

VmWare Vcloud

• Liste des différents fournisseurs : http://vcloud.vmware.com/vcloud-ecosystem
• Interface de gestion : https://vcloudservice.vmware.com/Login.aspx?ReturnUrl=%2fcloud%2fsummary
  • login : admin@5411
  • password : XGNSRHU
• Serveurs Test :
  • http://216.198.9.184
  • http://216.198.9.77
  • http://216.198.9.118

CDD du 1/07/2013 au 2/08/2013

• Travail autour de l'API Jargon d'iRODS
• http://www.irods.org/
• https://www.irods.org/index.php/Jargon
• https://code.renci.org/gf/project/jargon
• Jar actuel utilisé pour iRODS : jargon2.5.jar
• Fourni par Marc pour Simbad : simbad-jargon-usage.tar
• Le travail consiste a regarder ce qui a été fait avec la version 2.5 de Jargon et la version 2.3 d'iRODS puis de transposer cela vers les dernières version de Jargon et iRODS

Prérequis

/mnt :

• lrwxrwxrwx 1 root root 5 juil. 8 11:21 drbd0 -> /data

lien permettant de retrouver les métadonnées via /mnt/drbd0/metadata

/data :

• drwxr-xr-x 2 vospace vospace 4096 juil. 26 09:49 .irods
• drwxr-xr-x 2 vospace vospace 4096 juil. 26 09:48 data
• drwxr-xr-x 2 vospace vospace 4096 juil. 26 09:49 iRODS
• drwxr-xr-x 2 vospace vospace 4096 juil. 26 09:48 metadata

ces dossiers doivent être créés avant d'éxécuter les scripts afin que vospace ait les droits nécessaires pour y écrire

/home/vospace :

• -rw-r--r-- 1 vospace vospace 1591560834 juil. 24 15:14 data.tar.gz
• -rw-rw-r-- 1 vospace vospace 50979639 juil. 18 14:27 irods3.2.tgz
• ou -rw-rw-r-- 1 vospace vospace 50979639 juil. 18 14:27 irods3.3.tgz
• -rw-r--r-- 1 vospace vospace 146645344 juil. 24 15:14 metadata.tar.gz

seules les dossiers data et metadata actuels sont nécessaires

Mise en oeuvre

• Il suffit de lancer ./maj3.2.sh >> log ou ./maj3.3.sh >> log, les scripts *.exp (générés avec autoexpect) sont lancés par ceux-ci
• le script ./clean permet de revenir à l'état des prérequis en cas de problème
• un message d'erreur doit apparaître concernant une table de la base de données Postgres, cela n'est pas vraiment un problème, il s'agit d'une requête drop table sur une table inexistante