L’erreur obtenue au lancement du programme de Xmatch est dû à un probleme de version. En effet lors de l’import des sources dans un IDE et en liant les dernière versions de chaques librairies il se trouve q’une ligne pose problème.
Le cluster hdfs n’est pour l’instant pas très sécurisé, il ne possède qu’un seul namenode. Si jamais la machine qui fait tourner ce container s’éteint ou tombe en panne, c’est tout le système de fichier qui deviendrais inaccessible.
docker service create --name hdfs-namenode -e CORE_CONF_fs_defaultFS=hdfs://hdfs-namenode:8020 -e CLUSTER_NAME=test -e CORE_CONF_hadoop_http_staticuser_user=root -e HDFS_CONF_dfs_webhdfs_enabled=true -e HDFS_CONF_dfs_permissions_enabled=false -e HDFS_CONF_dfs_nameservices=test --network spark-net -p 50070:50070 bde2020/hadoop-namenodenon fonctionnel
Je suis tombé sur un bug lié à la résolution des nom de services par le DNS de Docker. Issue GitHub
Ce bug sera probablement résolu dans la prochaine version de Docker.
docker service create --name spark-proxy --network spark-net -p 8080:8080 -p 50070:50070 nyanloutre/spark-proxy