11 Octobre 2016

Test de Kudu

Création du Dockerfile

    FROM debian:8.6
    MAINTAINER Paul TREHIOU

    ADD http://archive.cloudera.com/beta/kudu/debian/jessie/amd64/kudu/cloudera.list /etc/apt/sources.list.d/
    RUN apt-key adv --recv-key --keyserver keyserver.ubuntu.com 327574EE02A818DD && \
        apt-get clean && \
        apt-get update && \
        apt-get install kudu -y && \
        apt-get clean && \
        rm -rf /tmp/*

    EXPOSE 8051 8050

Lancement du service

Master

docker service create --name kudu-master --network spark-net localhost:5000/kudu kudu-master -fs_wal_dir /var/lib/kudu/master -logtostderr -use_hybrid_clock=false

Tablet server

docker service create --name kudu-tablet --mode global --network spark-net localhost:5000/kudu kudu-tserver -tserver_master_addrs kudu-master -fs_wal_dir /var/lib/kudu/tserver -logtostderr -use_hybrid_clock=false

Déplacement des blocs HDFS

Afin de pouvoir contrôler l’emplacement des blocs HDFS j’ai testé si le déplacement d’un bloc d’un node à un autre pouvait poser problème

J’ai donc d’abord placé un fichier test.txt avec une réplication à 1 sur le cluster hdfs. J’ai ensuite supprimé les services hdfs-namenode et hdfs-datanode afin de couper le cluster hdfs. J’ai ensuite récupéré le bloc de mon fichier test et je l’ai transféré sur un autre noeud. On rallume ensuite le cluster hdfs en recréant les services Docker et on peut constater dans l’interface web : http://hdfs-namenode:8020 que le fichier n’est pas corrompu et que le bloc est indiqué comme présent sur un autre noeud.