dlNAS

Tecnología

Nuestra solución dlNAS está basada en Gluster FS (GlusterDistributed File System), sistema de archivos multiescalable para NAS que ofrece RedHat. Ofrecemos un producto interconectado con una red Infiniband de 10GbE, montado sobre hardware estándar de mercado y utilizando productos open source.

dlNAS es accesible mediante varios protocolos de acceso a ficheros:
NFS, CIFS, WebDAV, FTP , HTTP(S)

dlNAS es un producto que puede dar servicio a clientes multiplataforma: Linux, Windows, Mac,…

esquema1

Tecnología actual de almacenamiento de datos:

Tanto los sistemas basados en bloque (SAN), como los sistemas basados en fichero (NAS), permiten acceder al almacenamiento compartido, sin embargo, la filosofía de funcionamiento es totalmente distinta.

SAN (Storage Area Network)
Una red de almacenamiento SAN, es una red dedicada de alta velocidad (normalmente montada sobre fiber channel), comparable a una red local, que permite la conexión directa entre servidores y dispositivos de almacenamiento. Una SAN puede ser compartida por varios servidores o estar dedicada a un único servidor, puede ser local o extenderse por áreas geográficas más amplias.

SAN

NAS (Network Attached Storage)
Un dispositivo NAS se conecta directamente a las redes de datos tradicionales basadas en TCP/IP a través de interfaces Ethernet y pone a disposición de los equipos de esta red el almacenamiento que gestiona mediante un protocolo de sistema de ficheros en red (NFS, CIFS o incluso HTTP).

NAS

SAN vs NAS

La red de almacenamiento SAN es ideal para el alojamiento de bases de datos, dado que se ven como un volumen local.

La red de almacenamiento NAS está preparada para el alojamiento de datos no estructurados.

La tecnología en que se basa la arquitectura de una SAN es todavía muy cara.

La red de almacenamiento NAS proporciona una solución de bajo coste y fácil de administrar.

La tecnología de NAS distribuido es una solución sugerida por la comunidad científica.

NAS es un producto adaptable a multiplataformas y permite la coexistencia de nodos con diferentes procesadores y discos.

El incremento de datos no estructurados, ha propiciado un mayor uso de soluciones NAS (tecnología file-based) frente a las soluciones SAN (tecnología block-based), tanto para el almacenamiento cómo para la gestión de entornos virtuales.

Según un estudio de IDG, el 80% de la información de una empresa reside hoy en contenidos no estructurados  (imágenes, vídeos, documentos, correo electrónico, etc.) y sólo un 20 %  corresponde a elementos que se guardan en bases de datos.
grafico 2014

Caminando hacia soluciones NAS Distribuido

Hemos apostado por indagar en las soluciones NAS distribuido que ofrece el mercado. El producto software de código abierto GlusterFS es una apuesta segura para desarrollar soluciones basadas en el almacenamiento distribuido.

GlusterFS presenta un sistema de almacenamiento multiescalable, distribuido y de alta disponibilidad NAS, que permite agrupar los recursos de distintos dispositivos de computación y almacenamiento en uno solo “Namespace” manejado de manera centralizada.

Una agrupación de almacenamiento Gluster (pool) se presenta al cliente como un dispositivo estándar POSIX y soporta NFS, CIFS, HTTP, FTP, así como el protocolo Gluster. Una característica única del software es que no requiere un servidor de metadatos para coordinar la entrada y salida de datos. GlusterFS utiliza un algoritmo de “elastic hash”, que permite a cualquier nodo del grupo (pool) localizar los datos en cualquier lugar del cluster.

Los Nodos (servidores de almacenamiento) en el entorno GlusterFS, se pueden añadir o eliminar según las necesidades y sin interrumpir el servicio, permitiendo al sistema expandirse o contraerse soportando de esta forma entornos muy dinámicos.

Los servidores de almacenamiento están conectados vía infiniband y pueden soportar miles de usuarios en el “Namespace” global.

dlNAS

Para describir el producto que ofrecemos, hemos dividido la información en 4 apartados. Se podrá ver la solución que hemos elaborado y el producto que ofrecemos. Finalmente se ha añadido una tabla con precios aproximados de nuestra solución dlNAS:

  • dlNAS: Solución & Producto
  • dlNAS: Evolución progresiva
  • dlNAS: Distribución del Almacenamiento con Volúmenes
  • dlNAS:Formas de despliegue de la solución

dlNAS: Solución & Producto

dlNAS es un producto estructurado en 3 capas que interactúa con una capa cliente multiplaraforma (linux, apple, windows, etc).

La capa ethernet estándar de Gigabit es la que sirve los datos a los diferentes sistemas cliente.

La capa de storage está administrada por Gluster FS, que agrega en un solo namespace múltiples recursos de almacenamiento.

Por último, la capa de comunicación infiniband permite gestionar y replicar la información del cluster.

modelo

La elección de los componentes del sistema se rige según los estándares del mercado del momento, garantizando la independencia del sistema:

  • Servidores: Dell, HP, IBM, Intel,…
  • Discos: Seagate, Hitachi, IBM, Toshiba, Samsung, …
  • Switches: Cisco, HP, Cyberoam, IBM, Dell, Juniper,…

dlNAS: Evolución progresiva

La meta de nuestra propuesta, Evolución Progresiva, es la reducción CEC (Coste, Espacio y Consumo).

Consiste en un sistema basado en ampliaciones progresivas de nodos y en las actualizaciones de éstos.

Ventajas de la evolución progresiva:

  • La  inversión inicial es menor, dado que no hace falta tener toda la capacidad desde un inicio
  • Permite regular la evolución según la demanda del proyecto

Esquema:

modelo2

Reducción CEC

A) Reducción de COSTE:

La reducción de costes está basada en la Ley de Kryder (similar a la Ley de Moore), que asegura que la densidad/capacidad de los discos duros se duplica cada doce meses, manteniendo costes.

En el gráfico se puede apreciar que la realidad del mercado supera incluso las expectativas de la ley de Kryder:

Diagrama1

Por ello una compra basada en ampliaciones progresivas es más rentable, dado que a igual coste se obtiene más capacidad.:

  • Caso A: Se compran en un inicio 120TB (40TB+40TB+40TB)
  • Caso B: Se compran 40TB en un inicio, al cabo de 12 meses por el mismo precio se pueden comprar 80TB y al cabo de 24 meses se pueden adquirir 160TB. Por ello a igual coste que el “Caso A“, se han conseguido 280TB. Más del doble de capacidad!!!

B) Reducción de ESPACIO:

Durante los primeros ciclos de vida del proyecto se van añadiendo cada “X” meses nuevos nodos.

Al cabo de unos 4 ciclos el sistema llega a su máximo volumen (espacio físico).

A partir de éste momento únicamente se van renovando los nodos. Esto permite aumentar en capacidad (TB), pero no en volumen horizontal.

Supongamos que en un inicio se instaló un nodo de 40TB, según la Ley de Kryder comprando un nodo a igual precio, al cabo de 4 años(4 ciclos) el mercado nos ofrecrá un nodo de una capacidad de almacenamiento de unos 160TB. Dado que los 160TB ocuparían el mismo espacio que los 40TB que se retiran, el sistema deja de crecer en volumen horizontal.

C) Reducción de CONSUMO:

Dado que a partir de un momento dado se deja de ampliar el sistema y se pasa a sustituir los nodos viejos por nodos nuevos de mayor capacidad pero que consumen igual o menos recursos, se puede afirmar que la relación TB/Watt se reduciendo en los ciclos de vida del proyecto.

Para aportar datos a las afirmaciones de la reducción CEC, se muestra a continuación la evolución de los discos Seagate, destacando su consumo energético y  tamaño de las diferentes unidades:

comp_dicos

Datos encontrados en la tienda on-line de FNAC

dlNAS: Distribución del Almacenamiento con Volúmenes

Tipo de volúmenes

Los volúmenes pueden ser de 3 tipos:

  1.  Distribuido: Los Nodos se pueden configurar de tal forma que puedan estar distribuidos en diferentes ubicaciones. Se pueden añadir y quitar nodos, según la necesidad.
  2. Replicado: Para aumentar la capacidad de restaurar la información en caso de pérdida o degeneración,  se pueden montar diversas formas de replicado de nodos: Raid4 o Raid6
  3. Distribuido+Replicado: Se pueden distribuir nodos que a su vez están replicados.

Volúmenes dlNAS mediante la distribución Gluster:

Un Volumen  Gluster  solo soporta un método de distribución. Se pueden definir múltiples volúmenes Gluster en un mismo cluster.

  • Distribuido: Los ficheros se distribuyen entre los servidores utilizando el algoritmo Elastic Hash. Cada fichero está solo almacenado en un servidor. Las ventajas son su bajo coste de almacenamiento y la  alta velocidad escritura.
  • Replicado: Cada servidor de almacenamiento se replica en otro/s servidor/es de forma síncrona. Tiene full fault-tolerance (el fallo de un servidor es transparente para el sistema). Los accesos de lectura a la información, se distribuyen entre todos los nodos del mirror.

Mecanismos Clúster Gluster

  • Add Brick: añade un nuevo nodo al clúster
  • Rebalance: redistribuye la información entre los nodos de un clúster.
  • Migrate Brick:  rebalance al revés, redistribuye la información del clúster moviendo la información del brick a eliminar entre el resto de nodos.
  • Remove Brick: Elimina el nodo después de haber redistribuido su información entre el resto de nodos.

dlNAS: Formas de despliegue de la solución

Despliegue Solución Base – Replica 2 50%

HD Unidades Volumen Volumen
Acumulado
Coste Coste
Acumulado
Bloque Storage Base
4TB 6 120TB 120TB 60.000€ 60.000€
Ampliación Fase 1 (20 M)
6TB 6 180TB 300TB 60.000€ 120.000€
Ampliación Fase 2 (40 M)
8TB 6 240TB 540TB 60.000€ 180.000€
Remodelación
12TB 6 300TB 60.000€
Retirada del “BloqueStorage Base” -100TB 740TB 240.000€

Despliegue Solución Base – Replica 2 ≈100%

HD Unidades Volumen Volumen
Acumulado
Coste Coste
Acumulado
Bloque Storage Base
4TB 6 100TB 120TB 60.000€ 60.000€
Ampliación Fase 1 (20 M)
8TB 6 240TB 360TB 72.000€ 132.000€
Ampliación Fase 2 (40 M)
12TB 6 360TB 720TB 78.000€ 210.000€
Remodelación
16TB 6 400TB 81.000€
Retirada del “BloqueStorage Base” -100TB 1020TB 292.000€

 

Contacto

facebooktwitterlinkedin

Grupo DataLab
Castillejos, 352 Barcelona
93 476 69 14 – info@dltec.net