Buscar
Cierra este cuadro de búsqueda.

Resumen técnico

Sumérgete en la escala Qumulo en cualquier lugarTM plataforma de datos
Icono de marca del logotipo de Qumulo

Índice del contenido

 

Arquitectura de software

Servicios de datos y gestión de almacenamiento.

  • Gestión del sistema
    • Interfaz de usuario web
    • Interfaz de línea de comandos
    • REST API
  • Nexo Qumulo
  • Gestión de Acceso
    • Funciones de seguridad de datos
      • Directorio Activo
      • Cifrado por cable
  • Autenticación y control de acceso
    • seguridad administrativa
      • Usuarios administradores a nivel de dominio
      • Usuarios administradores locales
    • Inicio de sesión único con autenticación multifactor
    • fichas de acceso
    • Control de acceso basado en roles
  • Gestión de acceso a datos
    • Listas de control de acceso
      • Mejoras de Kerberos
    • Soporte de permisos multiprotocolo
      • Permisos de acceso a objetos
    • Restricciones de tráfico de gestión

Servicios de datos

El sistema de archivos Qumulo

La tienda de bloques escalable

Hardware del servidor

Descargar este recurso

Nuestro objetivo en Qumulo es simplificar el almacenamiento de archivos para la empresa híbrida moderna. Hacemos que sea sencillo proteger sus datos. Hacemos que sea sencillo soportar flujos de trabajo exigentes, ya sean locales o en la nube, a bajo costo. Simplificamos el almacenamiento en la nube híbrida.

Arquitectura de software de Qumulo

Hemos diseñado nuestra plataforma de almacenamiento para convertirla en un servicio escalable y listo para la nube que puede admitir casi cualquier flujo de trabajo basado en archivos, en cualquier lugar. También proporcionamos API sólidas para ofrecer gestión automatizada y visibilidad en tiempo real del uso del sistema y de los datos. Nuestras soluciones de almacenamiento cumplen con los requisitos de seguridad y protección de datos de las empresas Fortune 500.

Esta página proporciona una descripción general de la arquitectura y los componentes de la solución de datos no estructurados de Qumulo, que ilustra cómo nuestro producto admite una amplia gama de casos de uso, desde medios y entretenimiento, hasta atención médica y ciencias biológicas, computación de alto rendimiento basada en la nube y costos. -Archivos eficaces a largo plazo en la nube.

Fundamentos de la Arquitectura Qumulo

Antes de profundizar en los componentes individuales de la arquitectura de Qumulo, existen varios supuestos fundamentales que es importante enumerar:

1. Qumulo proporciona un sistema de archivos distribuido 100% definido por software que presenta un único espacio de nombres. Un clúster Qumulo local consta de una agregación de nodos independientes sin compartir, cada nodo contribuye a la capacidad y el rendimiento generales del clúster. Los nodos individuales permanecen en constante coordinación entre sí. Cualquier cliente puede conectarse a cualquier nodo y leer y escribir en todo el espacio de nombres.

2. Las instancias de Qumulo basadas en la nube utilizan almacenamiento de objetos (dependiendo de dónde se implemente, ya sea AWS S3 o Microsoft Azure Blob Storage) para la capa de datos, en la que los bloques asociados con cualquier archivo determinado se abstraen y distribuyen en una colección lógica de objetos discretos.

  • Esta arquitectura nativa de la nube elimina la relación heredada entre computación, almacenamiento y rendimiento, creando un servicio de almacenamiento de archivos totalmente elástico que puede escalar la capacidad a cientos de petabytes y puede escalar el rendimiento a más de 100 GBps.
  • Con la desagregación completa de computación y almacenamiento que permite la arquitectura nativa de la nube de Qumulo, los clientes tienen la flexibilidad de elegir los niveles específicos de rendimiento y capacidad que necesitan, independientemente unos de otros. Un cliente puede incluso implementar una instancia de Qumulo con una huella informática inicialmente baja, luego escalar temporalmente la asignación de computación del servicio para aumentar drásticamente el rendimiento durante un breve período de tiempo y luego volver a reducirla, sin necesidad de implementar implementaciones adicionales en ningún momento. capacidad.

3. Qumulo está optimizado para escalar. Nos aseguramos de que todos los aspectos de nuestro producto puedan soportar cómodamente desde petabytes hasta exabytes de datos, miles de millones de archivos, millones de operaciones y miles de usuarios.

4. Qumulo se optimiza automáticamente para lograr el máximo rendimiento. Cada instancia de Qumulo rastrea el acceso a los datos mediante un mapa de calor para identificar los bloques de datos a los que se accede con frecuencia. Estos bloques se mueven de forma proactiva mediante un algoritmo de captación previa interno: los bloques de datos en el disco duro se mueven al almacenamiento flash a medida que aumenta su puntuación de calor. Si la puntuación de calor continúa aumentando, los datos que ya están en el almacenamiento flash se mueven proactivamente a la memoria del sistema para un acceso aún más rápido. A nivel global, en todas las instancias de Qumulo para todos los clientes de Qumulo, la tasa de aciertos de caché es de ~95 %.

5. Qumulo tiene alta disponibilidad y consistencia inmediata, y está diseñado para resistir fallas de componentes en la infraestructura y al mismo tiempo brindar un servicio confiable a los clientes. Hacemos esto mediante el uso de abstracción de software, codificación de borrado, tecnologías de red avanzadas y pruebas rigurosas. Cuando los datos se escriben en el sistema de archivos de Qumulo, la operación de escritura no se confirma al servicio, usuario o cliente hasta que los datos se hayan escrito en un almacenamiento persistente. Por lo tanto, cualquier solicitud de lectura posterior dará como resultado una vista coherente de los datos (a diferencia de modelos eventualmente consistentes).

6. Qumulo ofrece servicios de archivos independientes de la plataforma para la nube pública, privada e híbrida. El software de Qumulo hace pocas suposiciones sobre la plataforma en la que se ejecuta. Abstrae los recursos de hardware físicos o virtuales subyacentes para aprovechar la mejor infraestructura de nube pública y privada. Esto nos permite aprovechar la rápida innovación en tecnologías de computación, redes y almacenamiento impulsadas por los proveedores de la nube y el ecosistema de fabricantes de componentes.

7. El modelo de gestión de Qumulo es API primero. Cada capacidad creada por Qumulo se desarrolla primero como un punto final API. Luego presentamos un conjunto seleccionado de esos puntos finales en nuestra interfaz de línea de comandos (CLI) y WebUI, nuestra interfaz visual. Esto incluye la creación de sistemas, gestión de datos, análisis de rendimiento y capacidad, autenticación y accesibilidad a los datos.

8. Qumulo envía nuevo software de forma rápida y regular. Lanzamos nuevas versiones de nuestro software cada pocas semanas. Esto nos permite responder rápidamente a los comentarios de los clientes, impulsar mejoras constantes en nuestro producto e insistir en que nuestros equipos tengan un código de calidad de producción.

9. La arquitectura basada en contenedores de Qumulo permite un proceso de actualización único que minimiza las interrupciones para los usuarios y los flujos de trabajo. De forma progresiva, nodo por nodo, el nuevo software operativo se implementa en un contenedor paralelo a la versión anterior. Una vez que se ha inicializado la nueva instancia, el entorno anterior se cierra correctamente y la actualización continúa con el siguiente nodo hasta que se haya actualizado todo el clúster.

10. El equipo de éxito del cliente de Qumulo es muy receptivo, conectado y ágil. Qumulo tiene la capacidad de conectarse al monitoreo remoto a través de nuestro servicio de monitoreo basado en la nube Mission Qontrol. Nuestro equipo de éxito del cliente utiliza esos datos para ayudar a los clientes a superar incidentes, brindarles información sobre el uso del producto y alertar a los clientes cuando sus sistemas experimentan fallas en los componentes. Esta combinación de soporte inteligente y rápida innovación de productos impulsa una puntuación NPS de 80+, líder en la industria.

Arquitectura Qumulo

La arquitectura modular de Qumulo se puede resumir en una serie de capas, con funciones y controles de servicio específicos incluidos en cada capa. Estas capas trabajan juntas para respaldar la escalabilidad, el rendimiento, la seguridad y la confiabilidad de los datos no estructurados en una instancia de Qumulo, así como el propio sistema Qumulo.

Servicios de datos y gestión de almacenamiento.

Como servicio de almacenamiento de archivos estándar de la industria, Qumulo admite todos los protocolos de acceso a datos no estructurados: SMB, NFS y NFSv4.1. También se incluye soporte para el acceso a objetos utilizando el protocolo estándar S3, junto con acceso FTP y REST para seleccionar tipos de datos.

Gestión del sistema

Cualquier instancia de Qumulo, ya sea local o en la nube, se puede administrar utilizando las mismas herramientas estándar: una interfaz de usuario web integrada para almacenamiento interactivo y administración de datos, una biblioteca de comandos basada en CLI o un conjunto de API. herramientas administrativas.

Interfaz de usuario web

La interfaz visual de Qumulo ofrece un portal basado en web para administrar un sistema Qumulo. La interfaz visual es una interfaz basada en web, servida desde el sistema, sin necesidad de VM o servicio por separado. La interfaz visual está organizada en torno a seis secciones de navegación de nivel superior: Panel de control, Análisis, Compartir, Clúster, API y herramientas, y Soporte.

Interfaz de línea de comandos (CLI)

La CLI de Qumulo admite la mayoría (pero no todas) de la biblioteca API y se centra en la administración del sistema. La CLI ofrece un método de interacción programable para trabajar con una instancia de Qumulo. Puede encontrar una lista completa de comandos en nuestra base de conocimientos (cuidado.qumulo.com).

REST API

La API REST es un superconjunto de todas las capacidades de la plataforma de datos Qumulo. Desde la API, los administradores pueden:

  • Crear un espacio de nombres 
  • Configure todos los aspectos de un sistema (desde la seguridad, como los servicios de identidad o los roles de gestión, hasta la gestión de datos, como las cuotas, la protección de datos, como las políticas de instantáneas o la replicación de datos, y la adición de nueva capacidad).
  • Recopile información sobre el sistema Qumulo de destino (incluida la utilización de la capacidad y los puntos críticos de rendimiento)
  • Acceso a datos (incluidas operaciones de lectura y escritura)

La API se “autodocumenta”, lo que facilita a los desarrolladores y administradores explorar cada punto final (y ver resultados de ejemplo). Qumulo mantiene una colección de usos de muestra de nuestra API en Github (https://qumulo.github.io/).

Para obtener más información sobre el uso de la biblioteca API de Qumulo, la CLI y el portal de administración web, visite el portal de documentación de Qumulo (https://docs.qumulo.com).

Nexo Qumulo

A medida que los clientes de Qumulo pasan cada vez más a operaciones empresariales de múltiples sitios y nubes, necesitan reducir la complejidad de monitorear la disponibilidad y las métricas de servicio de cada instancia de Qumulo a través de interfaces de administración separadas. Con Qumulo Nexus, los clientes pueden consolidar las operaciones de monitoreo para todas sus instancias de Qumulo, ya sea localmente, en el borde o en la nube, en un portal de administración que ofrece los mismos análisis en tiempo real y visibilidad de datos que la interfaz web local. , pero a través de un único panel de cristal.

Gestión de Acceso

El software de Qumulo incorpora una serie de características inherentes y controles configurables, todos diseñados para proteger los datos del clúster.

Funciones de seguridad de datos de Qumulo

Cada instancia de Qumulo, ya sea local o en la nube, aprovecha un par de controles que garantizan que todos los datos dentro del sistema de archivos estén protegidos contra corrupción, pérdida o intrusión en el nivel de almacenamiento de datos.

integración de Active Directory

El modelo de acceso de seguridad de Qumulo fue diseñado para aprovechar Microsoft Active Directory (AD) para derechos y permisos tanto administrativos como de usuario. Además de los beneficios obvios de tener una única fuente de registro para todas las cuentas de usuario, el uso de AD para la gestión de privilegios y permisos respalda las mejores prácticas de la industria para lo siguiente:

  • Integración perfecta con protocolos de gestión de identidad y autenticación basados ​​en Kerberos
  • Integración con proveedores de acceso SSO y MFA
  • El uso de permisos basados ​​en la lista de control de acceso para clientes SMB y NFSv4.1 para archivar datos del sistema

Cifrado de datos por cable

Incluso con las configuraciones adecuadas de seguridad a nivel de datos y recursos compartidos implementadas, algunas empresas necesitan una capa adicional de seguridad de datos para protegerlos del acceso no autorizado. Para esos entornos, Qumulo también admite el cifrado de datos por cable hacia y desde clientes compatibles. 

Para recursos compartidos SMB3, Qumulo admite el cifrado por recurso compartido y en todo el clúster cuando sea necesario. Las exportaciones NFSv4.1 que requieren seguridad mejorada se pueden configurar para usar firmas de paquetes krb5i que garantizan la integridad de los datos o para usar cifrado de paquetes basado en krb5p para evitar la interceptación durante el tránsito.

Todo el tráfico basado en objetos se cifra automáticamente utilizando los estándares de cifrado TLS/HTTPS estándar.

Autenticación y control de acceso

El acceso a los datos en el sistema de archivos Qumulo, así como el acceso al sistema de almacenamiento Qumulo, utiliza protocolos de acceso y autenticación estándar de la industria, lo que garantiza una gestión de acceso de nivel empresarial, control de identidad y auditabilidad.

Seguridad Administrativa

Los derechos y privilegios a nivel del sistema se otorgan según la membresía en uno o más grupos locales en la instancia individual de Qumulo. Los derechos administrativos se otorgan a todas las cuentas locales y de dominio que son miembros del grupo de administradores integrado del clúster.

Usuarios administrativos a nivel de dominio

La mayoría de las políticas de seguridad empresarial requieren que la administración y gestión de los sistemas empresariales críticos sigan una política de un solo usuario y una sola cuenta para garantizar registros precisos del acceso al sistema y el uso de privilegios. El método más sencillo para cumplir con esta política es agregar las cuentas de usuario de Active Directory relevantes al grupo de administradores local del clúster.

Usuarios administrativos locales

Cada instancia de Qumulo viene con una cuenta predeterminada, llamada Admin, al que se le asigna automáticamente la membresía en el grupo de administradores local y, como tal, tiene todos los derechos y privilegios administrativos para el clúster.

Inicio de sesión único con autenticación multifactor

El inicio de sesión único (SSO) elimina la necesidad de que un administrador vuelva a ingresar sus credenciales de inicio de sesión para obtener acceso al sistema. Las empresas quieren SSO no sólo porque agiliza el proceso de inicio de sesión, haciendo que sea más conveniente para los administradores autenticarse, sino también porque reduce el riesgo de robo de cuentas a través de registradores de pulsaciones de teclas o interceptación cuando el intento de inicio de sesión atraviesa la red.

La autenticación de múltiples factores (MFA) agrega otra capa de seguridad al proceso de inicio de sesión, ya que requiere que los usuarios administradores recuperen un código de un solo uso de un token clave o de una solicitud de desafío en un dispositivo separado, ninguno de los cuales estaría en posesión de un intruso.

La solución SSO de Qumulo se integra con Active Directory a través del Lenguaje de marcado de afirmación de seguridad (SAML) 2.0. Para MFA, los clientes pueden aprovechar cualquier proveedor de identidad (IdP) que se integre con el dominio de AD registrado en el clúster, incluidos, entre otros, OneLogin, Okta, Duo y Azure AD.

fichas de acceso

Para simplificar el proceso de almacenamiento automatizado y gestión de datos a través de la funcionalidad API de Qumulo, Qumulo ofrece a los administradores la opción de generar un token API de larga duración que puede ser utilizado por flujos de trabajo automatizados indefinidamente, hasta que la clave sea revocada o eliminada. El token lo genera un administrador a través de CLI y se puede adjuntar a cada flujo de trabajo basado en API, que ahora puede realizar llamadas API autenticadas sin tener que iniciar sesión. Para fines de auditoría, cada token se asigna a una cuenta de AD o de clúster específica. Si la cuenta de usuario asociada se elimina o desactiva, el token de acceso dejará de funcionar.

Control de acceso basado en roles

El control de acceso basado en roles (RBAC) permite a los administradores asignar privilegios específicos a usuarios o grupos no administrativos que requieren derechos elevados al clúster para tareas de administración específicas. El uso del modelo RBAC permite la delegación segura de privilegios según sea necesario sin necesidad de conferir derechos administrativos completos. También permite a las empresas otorgar los privilegios necesarios al sistema y al mismo tiempo garantizar un registro de auditoría verificable del acceso y el uso de privilegios.

Gestión de acceso a datos

Qumulo utiliza el mismo modelo de seguridad para administrar el acceso a los datos del sistema de archivos, utilizando prácticas, protocolos y herramientas estándar empresariales para administrar y rastrear el acceso a todos los archivos y directorios del sistema.

Listas de control de acceso

Para cargas de trabajo a las que se accede a través de SMB y NFSv4, Qumulo admite la autenticación a través de Active Directory y listas de control de acceso (ACL) estilo Windows que se pueden compartir entre ambos protocolos.

Mejoras de Kerberos

Todas las solicitudes de datos SMB y NFSv4.1, si se originan en un cliente Windows o Linux que está unido al mismo dominio que el clúster Qumulo (o unido a un dominio confiable), se autentican mediante la administración de identidades de usuario basada en Kerberos.

Soporte de permisos multiprotocolo

Qumulo admite que los mismos datos en el sistema de archivos estén disponibles a través de múltiples protocolos simultáneamente. En muchos casos, un recurso compartido SMB en el clúster también se puede configurar como una exportación NFSv3, una exportación NFSv4.1 y un contenedor de almacenamiento de objetos. Si bien esto maximiza la flexibilidad del clúster, hay algunas consideraciones que deben tenerse en cuenta cuando se trata de administrar permisos. 

SMB y NFSv4.1 utilizan el mismo modelo de permisos basado en ACL, en el que el acceso se otorga o deniega al usuario en virtud de la membresía de la cuenta de Active Directory del usuario en uno o más grupos cuyo acceso se ha configurado en el nivel de datos.

Sin embargo, para cargas de trabajo mixtas SMB/NFSv3, puede haber una discrepancia entre los permisos ACL de un archivo o directorio y su configuración POSIX. Se puede configurar una instancia de Qumulo para operaciones de modo mixto, en las que los permisos SMB y POSIX se mantienen por separado para archivos y directorios que se comparten entre ambos protocolos. 

Para cargas de trabajo de protocolo mixto, el modelo de permisos multiprotocolo (MPP) patentado de Qumulo conserva las ACL y la herencia de SMB incluso si se modifican los permisos de NFS.

Permisos de acceso a objetos

Si un directorio en el clúster se comparte a través del protocolo S3, el directorio se trata como un depósito S3 y todos los subdirectorios y archivos dentro de ese directorio se tratan como objetos dentro del depósito. 

Cuando un usuario o flujo de trabajo intenta acceder a un objeto, el sistema utiliza la clave de acceso proporcionada por el cliente para identificar el Active Directory asignado de la clave o el ID de usuario local, y luego verifica ese ID con la lista de control de acceso SMB/NFSv4.1 del objeto.

Restricciones de tráfico de gestión

Además del uso de autenticación basada en SSO y MFA de cuentas administrativas designadas, Qumulo también admite políticas de seguridad que requieren la restricción del acceso de nivel de administrador a redes o VLAN específicamente designadas, al ofrecer la capacidad de bloquear puertos TCP específicos en un individuo. Nivel de VLAN.

De esta manera, una instancia de Qumulo se puede configurar para segmentar el tráfico de administración (por ejemplo, API, SSH, interfaz de usuario web y tráfico de replicación) del tráfico del cliente, por ejemplo, SMB, NFS y acceso a objetos.

Servicios de datos

La capa de Servicios de datos incluye cinco funciones de gestión: instantáneas, replicación, cuotas, registro de acceso y auditoría, así como análisis de datos y sistemas.

Snapshots

Las instantáneas en un clúster Qumulo se pueden utilizar de varias maneras para proteger los datos del clúster:

  • Se pueden utilizar localmente para una protección y recuperación de datos rápida y eficiente. 
  • Una instantánea de los datos en vivo en un clúster de Qumulo se puede replicar en una instancia secundaria de Qumulo, como una instancia de servicio Azure Native Qumulo Cold, que podría admitir una conmutación por error inmediata de los servicios de datos de archivos en caso de una interrupción del sistema en la ubicación principal. .
  • Las instantáneas de Qumulo también se pueden combinar con software de respaldo de terceros para brindar una protección efectiva a largo plazo (con un control de versiones más sólido para archivos modificados) contra la pérdida de datos.

Se puede tomar una instantánea en cualquier momento, ya sea según un cronograma fijo o según sea necesario. Una vez tomada, una instantánea no consume espacio inicialmente. Una instantánea conserva todo lo que hay en el sistema de archivos: datos de archivos, entradas de directorio, tiempos de creación y modificación, permisos, etc. A medida que los archivos dentro de la instantánea cambian con el tiempo, se escriben nuevos datos junto con la versión original y se escriben nuevas entradas en el archivo. sistema que identifica cada versión del mismo archivo.

Bloqueo de instantáneas

Para brindar protección adicional contra ataques de ransomware o eliminación prematura de instantáneas críticas a través de una cuenta de administrador comprometida, las instantáneas se pueden "bloquear" criptográficamente, evitando la alteración o eliminación prematura de una instantánea incluso por parte de un usuario administrativo. 

El uso de instantáneas bloqueadas requiere un par de claves criptográficas asimétricas, con la clave pública instalada directamente en la instancia de Qumulo y la clave privada almacenada externamente de acuerdo con las prácticas de administración de claves establecidas por la propia organización.

Cuotas

Las cuotas permiten a los usuarios controlar el crecimiento de cualquier subconjunto de un espacio de nombres Qumulo. Las cuotas actúan como límites independientes en el tamaño de cualquier directorio, evitando el crecimiento de datos cuando se alcanza el límite de capacidad. A diferencia de otras plataformas y servicios, las cuotas de Qumulo entran en vigor instantáneamente, lo que permite a los administradores identificar cargas de trabajo no autorizadas a través de nuestro análisis de capacidad en tiempo real y detener instantáneamente el uso desmedido de la capacidad. Las cuotas incluso siguen la parte del espacio de nombres que cubren cuando se mueven o se renombran directorios.

Registro de acceso y auditoría

El registro de auditoría proporciona un mecanismo para rastrear los eventos del sistema de archivos Qumulo, así como las operaciones de administración. A medida que los clientes conectados envían solicitudes al clúster, se generan mensajes de registro de eventos que describen cada intento de operación. Estos mensajes de registro luego se envían a través de la red a una instancia de syslog remota designada, por ejemplo, una plataforma de gestión de eventos e información de seguridad (SIEM) estándar de la industria, como Splunk.

Detección de intrusiones y ransomware en tiempo real

Qumulo se ha asociado con proveedores externos Superna y Varonis para permitir el monitoreo en tiempo real de eventos y registros de acceso para identificar y responder a los ciberataques. Para obtener más información sobre Varonis con nuestra solución Azure Native Qumulo, visite nuestro Integración de Varonis con ANQ página. Hay información disponible sobre Superna Ransomware Defender aquí.

Análisis de sistemas y datos.

La pila de software de Qumulo está diseñada para ofrecer información en tiempo real sobre las métricas del sistema y del servicio, incluida la capacidad y el rendimiento, en cada instancia de Qumulo. Esto permite a los clientes solucionar problemas de aplicaciones, gestionar el consumo de capacidad y planificar estrategias de expansión (o archivado). Los análisis de Qumulo se basan en la agregación de cambios de metadatos en todo el sistema de archivos a medida que ocurren.

La interfaz web incluye herramientas de monitoreo en tiempo real para rastrear el rendimiento del sistema, el uso de la capacidad y la actividad actual en la instancia local de Qumulo. Para las empresas que deseen exportar esta información a una solución de monitoreo externa, Qumulo admite el estándar API OpenMetrics para exportar y compilar datos de syslog.

Replicación

El servicio de replicación integrado de Qumulo puede copiar datos a escala entre dos instancias de almacenamiento de Qumulo. Además de proteger los datos contra ataques cibernéticos, una ubicación secundaria con otro clúster de Qumulo también puede servir como almacenamiento de conmutación por error en caso de una interrupción a nivel del sitio. 

Dado que todas las instancias de Qumulo admiten las mismas características de replicación y brindan los mismos servicios independientemente de la ubicación, la replicación se puede configurar para que se ejecute en cualquier dirección entre dos puntos finales de Qumulo, ya sea en las instalaciones, en AWS o en Azure.

Replicación continua

Esta forma de replicación simplemente toma una instantánea de los datos en el clúster de Qumulo de origen y la copia en un directorio en un clúster de destino. Mientras la relación de replicación esté activa, el sistema escanea cualquier archivo modificado para identificar y copiar solo los cambios específicos en el destino, sobrescribiendo cualquier versión anterior de los datos.

Replicación basada en instantáneas

Con la replicación basada en instantáneas, también se toman instantáneas del directorio de destino en el clúster secundario. Una vez que se ha completado un trabajo de replicación, se crea una nueva instantánea del directorio de destino, lo que garantiza la coherencia de los datos en ambos clústeres, además de mantener un registro de cambios y un historial de versiones para cada archivo en el destino.

El sistema de archivos Qumulo

Todos los datos no estructurados almacenados en un sistema de archivos Qumulo se organizan en un único espacio de nombres. Este espacio de nombres es compatible con POSIX y también admite el estándar Lista de control de acceso utilizado por los protocolos NFSv4.1 y SMB, al igual que otros sistemas y arquitecturas NAS. 

Donde Qumulo se diferencia es en su capacidad de escalar su espacio de nombres único a prácticamente cualquier tamaño, la forma en que el análisis de datos y sistemas se integra inherentemente en las operaciones del sistema de archivos, su soporte para S3, así como para NFS y SMB, y su enfoque único. a la gestión de permisos multiprotocolo.

Operaciones del sistema de archivos

El sistema de archivos de Qumulo fue diseñado desde el principio para escalar sin problemas a una capacidad superior a exabytes en un único espacio de nombres que puede albergar billones de archivos que se pueden compartir a través de protocolos estándar NFS y SMB. Además, el sistema de archivos fue diseñado con la capacidad de monitorear eficientemente las actualizaciones y acciones del sistema de archivos, y agregar estadísticas y operaciones basadas en metadatos, lo que permite análisis de datos y sistemas en tiempo real sin tener que recurrir a recorridos por árboles que consumen mucho tiempo y recursos. .

Escalabilidad del sistema de archivos

Una sola instancia de Qumulo puede escalar a exabytes de capacidad y 264 (~18.4 quintillones) de archivos sin ninguno de los problemas comunes a otras plataformas, como el agotamiento de los inodos, la desaceleración del rendimiento y los largos tiempos de recuperación después de fallas de los componentes.

Agregación de metadatos

En la plataforma de datos de archivos Qumulo, los metadatos, como los bytes utilizados y los recuentos de archivos, se agregan como archivos y se crean o modifican directorios. Esto significa que la información está disponible para su procesamiento oportuno sin costosos recorridos por los árboles de la plataforma de datos de archivos. El motor de análisis en tiempo real mantiene resúmenes de metadatos actualizados en todo el espacio de nombres del sistema de archivos, recopilando y actualizando información a medida que se producen cambios. Se resumen diferentes campos de metadatos para crear un índice virtual. A medida que se producen cambios, se recopilan nuevos metadatos agregados y se propagan desde los archivos individuales hasta la raíz del sistema de archivos. Se tiene en cuenta cada operación de archivo y directorio, y los cambios resultantes se fusionan inmediatamente en los análisis del sistema.

Espacio de nombres global de Qumulo

El servicio Global Namespace ofrece la capacidad de ampliar el espacio de nombres único de Qumulo a través de múltiples instancias, ya sea en las instalaciones o en la nube, definiendo rutas de datos virtuales, llamadas "portales", independientemente de la ubicación real de los datos. El uso de portales significa no solo que los datos se pueden ubicar en cualquiera de las implementaciones de Qumulo del cliente, sino que también significa que los usuarios y los flujos de trabajo pueden ver datos remotos como parte del espacio de nombres en su almacenamiento local de Qumulo, y que los datos pueden estar físicamente desde uno. instancia de Qumulo a otra, por ejemplo, para flujos de trabajo de seguimiento del sol o para migrar datos inactivos a un nivel de archivo frío centralizado de Azure Native Qumulo Cold, sin tener que reasignar clientes a la nueva ruta ni interrumpir las aplicaciones existentes.

La primera vez que se accede a un archivo remoto a través de un portal GNS, la instancia local de Qumulo almacena automáticamente en caché una copia del archivo localmente. Cualquier acceso posterior al archivo, ya sea desde el mismo cliente u otros en el mismo sitio, se proporciona desde la memoria caché local. Además de simplificar el acceso a los datos en múltiples implementaciones de Qumulo locales y en la nube, GNS también permite el acceso de baja latencia a datos remotos almacenados en caché.

La tienda de bloques escalable

Debajo del sistema de archivos Qumulo hay una capa modular protegida que sirve como interfaz entre potencialmente miles de millones (o más) de archivos y directorios, y el medio de datos físico en el que están almacenados. En la arquitectura modular de Qumulo, esta función la desempeña la capa Scalable Block Store.

Sistema de transacciones globales

Dado que Qumulo utiliza una arquitectura distribuida y sin compartir que ofrece garantías de coherencia inmediata, cada nodo del servicio debe tener una vista globalmente coherente de todos los datos en todo momento. Scalable Block Store aprovecha un enfoque transaccional global para garantizar que, cuando una operación de escritura involucre más de un bloque, la operación escribirá todos los bloques relevantes o ninguno de ellos. Para un rendimiento óptimo, el sistema maximiza el paralelismo y la computación distribuida al mismo tiempo que mantiene la coherencia transaccional de las operaciones de E/S. 

La ventaja de este enfoque es que se utiliza la cantidad mínima absoluta de bloqueo para las operaciones de E/S transaccionales, lo que permite que las implementaciones de Qumulo escale a muchos cientos de nodos.

Almacenamiento en caché y captación previa inteligentes

Una sola instancia de Qumulo puede almacenar billones de archivos y petabytes de capacidad. Sin embargo, dado que solo un pequeño porcentaje de esos datos está activo en un momento dado, Qumulo ha diseñado varias características y operaciones para optimizar el rendimiento de lectura y escritura de los datos activos:

  1. Todos los metadatos, que son los que se leen con mayor frecuencia en cualquier conjunto de datos, residen permanentemente en el nivel flash de la instancia de almacenamiento.
  2. Los bloques virtuales que se leen con frecuencia (medidos por un "índice de calor" patentado) se almacenan en la memoria flash, mientras que los bloques virtuales que se leen con poca frecuencia se mueven a medios más fríos, es decir, el nivel HDD del sistema (si está disponible).
  3. A medida que se leen los datos, la instancia de Qumulo monitorea el comportamiento del cliente y captura previamente de manera inteligente nuevos datos en la memoria del sistema en el nodo más cercano al cliente para acelerar los tiempos de acceso.

Implementaciones físicas de Qumulo

En un clúster físico de Qumulo, Scalable Block Store sirve como interfaz entre el sistema de archivos y los medios de almacenamiento subyacentes, que pueden ser dispositivos flash de estado sólido (SSD) o unidades de disco duro (HDD). Esta capa es la principal responsable de garantizar la coherencia de los datos en todos los nodos de un clúster físico, garantizar un rendimiento óptimo para las solicitudes de lectura y escritura y proporcionar seguridad, integridad y resiliencia de los datos contra fallas de los componentes.

Bloques virtuales protegidos

La capacidad de almacenamiento de un clúster físico de Qumulo está organizada conceptualmente en un espacio de direcciones virtuales protegido. Cada dirección dentro de ese espacio almacena un bloque de datos de 4K o un hash de codificación de borrado de 4K que se puede utilizar para reconstruir cualquier bloque de datos perdido debido a una falla del hardware. La proporción de bloques de datos a bloques de codificación de borrado está determinada por el tamaño del clúster físico: a medida que se agregan más nodos, la proporción se ajusta para proporcionar una mayor eficiencia general y, al mismo tiempo, proteger contra fallas tanto del disco como del nodo. 

Además de la protección que ofrece la codificación de borrado, el sistema de bloques virtuales también incluye un algoritmo de detección de descomposición de bits para proteger contra la corrupción de datos en el disco.

Cifrado basado en software en reposo

En los clústeres físicos de Qumulo, Scalable Block Store incluye un algoritmo basado en software AES de 256 bits que cifra todos los datos del sistema de archivos antes de escribirlos en la capa de datos. Este algoritmo se inicializa como parte del proceso inicial de construcción del clúster y abarca todos los datos y metadatos del sistema de archivos a nivel de bloque durante toda la vida útil del clúster.

Los clústeres de Qumulo en la nube dependen del cifrado a nivel de bloque dentro de la capa de almacenamiento en la nube, implementado y mantenido por el proveedor de servicios en la nube y que garantiza que todos los datos en reposo en cualquier instancia basada en la nube de Qumulo estén completamente cifrados.

Para las empresas que lo requieren, el algoritmo de cifrado local de Qumulo y los servicios de cifrado proporcionados por Azure y AWS admiten el cumplimiento de FIPS 140-2.

The Scalable Block Store en almacenamiento basado en la nube

Para las instancias de Qumulo implementadas en Azure, muchas de las funciones proporcionadas localmente por la capa Scalable Block Storage, como el cifrado en disco, la codificación de borrado, la detección de bit-rot y la administración de bloques, se proporcionan como características principales del Azure subyacente. Servicio de almacenamiento de blobs.

Hardware del servidor

El software de Qumulo se ejecuta en prácticamente cualquier hardware estándar basado en x86-64 de nivel empresarial, aunque los clientes que buscan disponibilidad y rendimiento óptimos deben consultar directamente con Qumulo para elegir la configuración de hardware adecuada.

El sistema operativo Linux subyacente está bloqueado, lo que permite solo las operaciones necesarias para realizar las tareas de soporte requeridas del entorno de software Qumulo. Otros servicios estándar de Linux se han desactivado para reducir aún más la superficie de riesgo de un ataque.

Pila de software totalmente nativa

Aunque Linux incluye componentes de código abierto para proporcionar servicios de servidor y cliente tanto NFS como SMB (por ejemplo, Samba, Ganesha, etc.), estos servicios no están incluidos en la imagen reforzada de Ubuntu que admite el entorno de software Qumulo. Qumulo desarrolla y controla todo el código utilizado para los protocolos de acceso a datos NFS, SMB, FTP y S3, en el entorno operativo Qumulo.

Actualizaciones instantáneas

El proceso de desarrollo iterativo de Qumulo es simple y optimizado, y se lanzan nuevas actualizaciones de software periódicamente. Esto no solo permite una rápida innovación para desarrollar e implementar nuevas funciones, sino que también fomenta una plataforma de almacenamiento más segura.

Qumulo diseñó el proceso de actualización para que fuera rápido y sencillo. Toda nuestra pila de software está en contenedores, lo que nos permite actualizar un clúster completo, independientemente del tamaño, en 20 segundos, eliminando retrocesos en el proceso, ya que la funcionalidad y estabilidad de la versión actualizada se pueden validar completamente antes de que se cierre la versión anterior. abajo.

Ver Qumulo en acción con una demo

Ir al Inicio