Para disponer de un entorno de pruebas lo más real posible y qué pueda experimentar cualidades de paralelismo, configuraciones de cluster, distribución, balanceamiento, y demás temas que veremos en la teoría, hemos configurado un cluster virtual usando Virtualbox. La estructura del cluster es como sigue:
- NameNode: master con SO Ubunto 18.04 Server minimal iso con 2GB de RAM y 20GB de almacenamiento.
- DataNodes: slave1 y slave2 con SO Ubunto 18.04 Server minimal iso con 1GB de RAM y 20 GB de almacenamiento
Las máquinas virtuales ya vienen configuradas para poder conectarse entre sí. Virtualbox permite configurar más de un adaptador de red, así que el primer adaptador tipo NAT permite a la máquina virtual acceder al adaptador que Virtualbox instala en nuestra máquina física (VirtualBox Host-Only Network) y así conectarse a internet. El adaptador 2 es un adaptador tipo Red NAT que permite a la máquina virtual tener un 2º adaptador «enp0s8» que le permite conectarse a una red interna.
La configuración anterior ya está hecha para las tres máquinas. También en las propias máquinas virtuales, hemos configurado IP estática para el adaptador 2 y hemos añadido dichas IP al fichero hosts del nodo master para que así podamos conectarnos desde el nodo master a cualquier slave simplemente escribiendo:
ssh adilazh1@slave1
ssh adilazh1@slave2
Para configurar IP estática en Ubunto les dejo esté post.
Ahora usted lo que necesitará hacer, una vez descargado VirtualBox , es indicar a VirtualBox de crear la red interna Red Nat de nombre NatNetwork siguiendo estos pasos:
- Acceder a «Archivo» –> «preferencias» –> «Red»
- Y ya estaría, pero como nos interesará conectar con el máster desde un cliente ssh y que la simulación sea más real aún, ya que en el mundo real el máster y los nodos están físicamente en un CPD, accedemos al máster de forma remota, vamos a habilitar el acceso al master desde putty, mobaXtrem o cualquier otro cliente ssh. Hacemos doble clic en «NatNetwork» –> «desactivamos soporte DHCP» para que no cambie la IP –> «Reenvío de puertos» y añadimos la siguiente regla:
Y ya estaría todo respecto a la conectividad.
Ahora para bajarse las máquinas virtuales, les dejo en Google Drive el archivo comprimido Cluster.rar, comprimido pesa unos 3.44 GB pero cuidado que al descomprimirse son algo más de 60GB así que asegurare de tener suficiente espacio. También recordarles que las tres máquinas en funcionamiento consumen 4GB de RAM con lo cual se recomienda tener al menos un sistema con 8GB de RAM.
Una vez descargado el fichero, descomprimirlo en la carpeta de vuestras máquinas virtuales y en VirtualBox, en «Maquina» escogen «Nueva» (o presionar Ctrl+N) para añadir las tres máquinas virtuales seleccionando los ficheros de extensión .vbox (que son ficheros xml con la configuración de las máquinas) .
Teniendo las máquinas agregadas a VirtualBox, iniciadas correctamente podemos acceder al máster via ssh
ssh adilazh1@127.0.0.1
Big Data && Maths !! 