Azure Native Qumulo ahora disponible en la UE, el Reino Unido y Canadá: Más información

Cómo copiar objetos entre depósitos y clústeres de S3 (parte 2)

Escrito por:
La guía definitiva: cómo copiar archivos nativos de un directorio en un clúster a una carpeta en un depósito de Amazon S3 en su formato de objeto nativo.

Esta serie de dos partes explora qué hace que el sistema de archivos de escalamiento horizontal de Qumulo sea único en AWS. En la parte 1, describimos cómo la arquitectura del software Qumulo Cloud Q está diseñada para el rendimiento y la escalabilidad dinámica, y el acceso a archivos multiprotocolo. Todos estos son atributos que Qumulo aporta a las cargas de trabajo de alto rendimiento que se ejecutan en la nube. A continuación, en la parte 2 a continuación, continuaremos con lo que hace que Qumulo sea único en AWS, centrándonos en cómo copiar objetos a (y desde) Amazon S3 usando Cambio de Qumulo; y, cómo automatizar el despliegue de Qumulo Cloud Q en AWS para simplificar la migración a la nube. 

Descripción de la replicación y el movimiento de datos entre clústeres de centros de datos y Amazon S3

Hay un número creciente de flujos de trabajo en los que los datos deben moverse entre el sistema de archivos y un depósito S3. Por ejemplo, como artista o editor de contenido multimedia, normalmente utiliza un sistema de archivos compartidos para fusionar efectos especiales o colaborar con otros artistas. Luego, puede usar otros servicios de AWS para transcodificar archivos que se encuentran en un depósito S3. Otro ejemplo es la secuenciación del genoma, donde los secuenciadores escriben en SMB, los procesos analíticos leen los datos a través de NFS y el archivado se realiza en S3.

Dado lo anterior, la movilidad de datos entre clústeres y Amazon S3 se vuelve aún más importante.

Almacenamiento de objetos frente a almacenamiento de archivos

Históricamente, las soluciones de almacenamiento de objetos no se diseñaron para permitir el fácil movimiento de datos basados ​​en archivos a un almacén de objetos en la nube (depósito de Amazon S3) para que se pueda usar con servicios en la nube. (Relacionado: Almacenamiento de bloques, almacenamiento de objetos y almacenamiento de archivos: ¿cuál es la diferencia?) Tome cargas de trabajo activas de alto rendimiento, por ejemplo: edición de video, efectos especiales, secuenciación genómica: estos flujos de trabajo necesitan servicios especializados para realizarse completamente, como transcodificación o procesamiento de medios, aprendizaje automático y análisis de datos, todos los cuales están disponibles como Servicios AWS.

La tecnología de almacenamiento basada en archivos de Qumulo tiene una característica integrada, llamada cambio de qumulo, que permite a los administradores de datos crear una relación entre un directorio y un depósito S3. Donde y cuando sea necesario, los datos se pueden copiar desde el directorio al depósito S3.

Como se esperaba de un moderno solución de almacenamiento de datos empresariales, Qumulo puede replicar datos entre diferentes clústeres, y Qumulo Shift lo hace posible. La ubicación del clúster de Qumulo es irrelevante en este caso. Los clústeres de origen y de destino pueden residir en las instalaciones, en diferentes zonas de disponibilidad (p. ej., una para el clúster de Qumulo y otra que podría usar para un Clúster Qumulo de recuperación ante desastres), diferentes nubes privadas virtuales (VPC) e incluso diferentes nubes.

¿Qué es Qumulo Shift para Amazon S3?

Qumulo Shift para Amazon S3 es un servicio en la nube gratuito que se ofrece como parte de Qumulo Cloud Q para AWS y le permite copiar archivos nativos desde un directorio en un clúster a una carpeta en un depósito de Amazon S3 en su formato de objeto nativo. Qumulo Shift permite a las empresas basadas en datos controlar los costos para una estrategia de datos de alto rendimiento, mejorando así su ROI.

Qumulo Shift es un componente integral de cualquier implementación de Qumulo y le brinda una canalización de datos perfecta hacia y desde el almacenamiento S3. Con Qumulo Shift para Amazon S3, las empresas pueden copiar objetos de cualquier clúster de Qumulo, ya sea en las instalaciones o que ya se esté ejecutando en una variedad de nubes, al almacén de objetos en la nube de Simple Storage Service de Amazon (Amazon S3).

Ya sea que esté creando datos con aplicaciones basadas en archivos o necesite un repositorio de respaldo/archivo o un punto de preparación para cualquiera de los cientos de análisis de datos nativos en la nube y herramientas de transformación que ofrece AWS, Qumulo Shift le permite mover archivos fácilmente entre sus Almacenamiento Qumulo y Amazon S3.

 

Esta característica le permite poner su archivo nativo datos de su clúster de Qumulo, ya sea en las instalaciones o en la nube, en un depósito S3 en su AWS S3 objeto nativo formato. Y eso nativo Esta parte es importante porque eso significa que no se aplica ningún formato propietario, por lo que puede aprovechar e innovar con potentes servicios de AWS y aplicaciones de mercado en su conjunto de datos de S3.

Cómo funciona el turno de Qumulo

La creación de una relación de replicación entre un clúster de Qumulo local y otro en Amazon S3 es posible con Qumulo Shift. Para verlo en acción, vea una breve demostración video debajo. El gerente de productos de Qumulo, Scott Gentry, muestra cómo hacer que los datos creados en un clúster de centro de datos estén disponibles para los servicios de AWS mediante el almacenamiento S3.

Cómo copiar objetos entre cubos y clústeres de S3 mediante Qumulo Shift

La replicación de Qumulo Shift le permite copiar objetos de un directorio en un clúster a una carpeta en un depósito de Amazon S3 (almacén de objetos en la nube). Al crear una relación de replicación entre un clúster y un depósito de S3, Qumulo Core realiza los siguientes pasos.

  1. Qumulo verifica que el directorio de origen especificado existe en el sistema de archivos y que el depósito S3 existe, es accesible mediante las credenciales especificadas y contiene objetos descargables.
  2. Una vez que la relación se crea correctamente, se inicia un trabajo utilizando uno de los nodos del clúster.
    [tipo de cuadro = "sombra"]Nota: Al realizar varias operaciones de cambio, se utilizarán varios nodos.[/box]
  3. Este trabajo toma una instantánea temporal del directorio de origen para garantizar que la copia sea coherente en un momento dado. Por ejemplo, nombrado replication_to_bucket_my_bucket</var/www/wordpress>.
  4. Qumulo Shift luego recorre recursivamente los directorios y archivos en esa instantánea, copiando cada archivo a un objeto correspondiente en S3.
  5. Las rutas de archivo en el directorio de origen se conservan en las claves de los objetos replicados. Por ejemplo, el archivo nativo /my-dir/my-project/file.txt</var/www/wordpress> will be uploaded as the native object https://my-bucket.s3.us-west-2.amazonaws.com/my-folder/my-project/file.txt</var/www/wordpress>.

Los datos no se codifican ni se transforman de ninguna manera, pero solo se replican los datos del flujo principal de un archivo normal (no se incluyen los flujos de datos alternativos ni los metadatos del sistema de archivos, como las ACL). Sin embargo, todos los vínculos físicos a un archivo dentro del directorio de origen de la replicación también se replican en Amazon S3 como una copia completa del objeto, con contenido y metadatos idénticos; esta copia se realiza mediante una operación de copia S3 del lado del servidor para evitar la transferencia de datos a través de Internet.

Al copiar objetos entre depósitos y clústeres de S3, Qumulo Shift comprobará si un archivo se replicó previamente en S3 mediante Shift. Si el objeto resultante todavía existe en el depósito de S3 de destino (y ni el archivo ni el objeto se han modificado desde la última replicación correcta), sus datos no se volverán a transferir a S3. Qumulo Shift nunca eliminará archivos en la carpeta de destino en S3, incluso si se han eliminado del directorio de origen desde la última replicación.

Cómo copiar objetos de un clúster a un depósito de Amazon S3

Para copiar objetos de un directorio en un clúster a una carpeta en un depósito de Amazon S3 usando el Interfaz de usuario web de Qumulo Shift. 3.2.5 (y superior), siga estos pasos:

  1. Inicie sesión en Qumulo Core.
  2. Haga clic Médico > Copiar a/desde S3.
  3. En Copiar a/desde S3 página, haga clic Crear copia.
  4. En Crear copia a/desde S3 página, haga clic Local ⇨ Remoto y luego ingresa lo siguiente:
    a. El Ruta de directorio en su grupo (/</var/www/wordpress> by default)
    b. The S3
    Nombre del cubo
    c. The carpeta in your S3 bucket
    d. The
    Provincia for your S3 bucket
    e. Your AWS
    Provincia (/</var/www/wordpress> by default)
    f. Your AWS
    ID de clave de acceso and Clave de acceso secreta.
  5. (Opcional) Para una configuración adicional, haga clic en Configuración avanzada del servidor S3.
  6. Haga clic Crear copia.
  7. En el ¿Crear copia a S3? cuadro de diálogo, revise la relación Turno y luego haga clic en Sí, Crear.

Comienza el trabajo de copia.

Para obtener más información sobre el uso de Qumulo Shift para copiar objetos de un clúster a un depósito de Amazon S3, visite nuestro Portal de documentación (docs.qumulo.com) para obtener una guía paso a paso para solución de problemas de trabajos de copia así como de otros y las mejores prácticas.

Cómo copiar objetos de un depósito S3 a un clúster

Se lanzó una nueva característica de Qumulo Shift, llamada Qumulo Shift-From, con Interfaz de usuario web de Qumulo 4.2.3. Esta función permite a los administradores de datos crear relaciones en las que el depósito de S3 es el origen y un directorio de Qumulo es el destino, lo que permite a los usuarios transferir datos de S3 a Qumulo y de Qumulo a S3.

Para copiar objetos de una carpeta en un depósito de Amazon S3 a un directorio en un clúster de Qumulo, siga estos pasos.

  1. Inicie sesión en Qumulo Core.
  2. Haga clic Médico > Copiar a/desde S3.
  3. En Copiar a/desde S3 página, haga clic Crear copia.
  4. En Crear copia a/desde S3 página, haga clic Local ⇦ Remoto y luego ingresa lo siguiente:
    a. El Ruta de directorio en su grupo (/</var/www/wordpress> by default)
    b. The S3
    Nombre del cubo
    c. The carpeta in your S3 bucket
    d. The
    Provincia for your S3 bucket
    e. Your AWS
    Provincia (/</var/www/wordpress> by default)
    f. Your AWS
    ID de clave de acceso and Clave de acceso secreta.
  5. (Opcional) Para una configuración adicional, haga clic en Configuración avanzada del servidor S3.
  6. Haga clic Crear copia.
  7. En el ¿Crear copia desde S3? cuadro de diálogo, revise la relación Turno y luego haga clic en Sí, Crear.

Comienza el trabajo de copia y Qumulo Core estima el trabajo a realizar. Cuando se completa la estimación, la interfaz de usuario web muestra una barra de progreso con un porcentaje para una relación en el Relaciones de replicación página. La página también muestra el trabajo total estimado, los bytes y archivos restantes y el tiempo estimado de finalización de un trabajo de copia en ejecución.

[tipo de cuadro = "sombra"]Nota: Para las estimaciones de trabajo, Qumulo Shift de los trabajos de S3 calcula la cantidad total de archivos y bytes en el prefijo del depósito de un trabajo. Esto requiere que el trabajo use el Acción ListObjectV2 S3 una vez por cada 5,000 objetos (o 200 veces por cada millón de objetos).[/box]

Para obtener información adicional sobre cómo copiar objetos de un depósito de Amazon S3 a un directorio en un clúster de Qumulo, visite el Portal de documentación de Qumulo, cuyos pasos para solución de problemas de trabajos de copia así como de otros y las mejores prácticas.

Automatización de la implementación para simplificar la migración a la nube

La implementación de la infraestructura mediante el uso de código tiene muchas ventajas: Siempre tiene implementaciones consistentes y repetibles. Es mucho más rápido y puede identificar desviaciones en la configuración. Además, es menos propenso a errores y se escala para implementaciones grandes.

Cómo implementar un clúster de Qumulo en AWS

Hay tres opciones para implementar un clúster de Qumulo en AWS de forma automatizada. Estos son:

  1. Mediante el uso de la Inicio rápido de AWS para Qumulo Cloud Q. Es una implementación de referencia automatizada creada por Amazon Web Services (AWS) y Qumulo. Las plantillas de AWS CloudFormation subyacentes automatizan todos los pasos necesarios para crear un clúster de Qumulo de acuerdo con las mejores prácticas para que pueda crear y comenzar a utilizar su entorno en cuestión de minutos.
  2. La plantilla de CloudFormation proporcionada por cada tipo de clúster en el AWS Marketplace.
  3. Las plantillas de AWS Terraform proporcionadas por Qumulo en GitHub.

Por qué implementar clústeres con AWS Quick Start para Qumulo Cloud Q

Le recomendamos que implemente clústeres de Qumulo con AWS Quick Start para Qumulo Cloud Q. Esto se debe principalmente a que Quick Start está respaldado por un par de plantillas de AWS CloudFormation, que simplifican y aceleran la implementación. Uso de Quick Start para implementar todas las capacidades de Qumulo Cloud Q en AWS, el proceso de implementación automatizado toma alrededor de 15 minutos.

Sin embargo, también puede utilizar las plantillas de CloudFormation proporcionadas en el Mercado de AWS; implementan solo el clúster básico y dos Funciones lambda. Estas funciones sin servidor recopilan datos de telemetría del clúster y los envían a AWS CloudWatch; y monitorean el estado de todos los volúmenes de EBS y los reemplazan automáticamente en caso de fallas en el volumen de EBS.

Opciones de implementación automatizada para implementar clústeres de Qumulo

La siguiente tabla enumera las diferentes opciones de implementación automatizada actualmente disponibles para implementar clústeres de Qumulo.

Las características únicas vienen de serie con el almacenamiento de archivos de Qumulo en AWS

De qumulo Almacenamiento de archivos en la nube híbrida en AWS simplifica las migraciones a la nube donde los datos no estructurados se almacenan en sistemas de archivos, independientemente de si el acceso a los datos se realiza a través de SMB, NFS, FTP o HTTP. El bloqueo de archivos y el control de acceso funcionan en todos los protocolos; por lo tanto, se puede evitar la colocación de datos redundantes para cada protocolo.

El software nativo de la nube de Qumulo, Qumulo Cloud Q para AWS, puede ofrecer tendencias de GB/s en rendimiento con latencias entre 0.5 y 5 ms. Permite un fácil movimiento de datos entre el sistema de archivos y los depósitos de Amazon S3. Se integra a través de plantillas de implementación y los usuarios pueden suscribirse a través del mercado de AWS.

Como se muestra a continuación y se describe en parte 1 de esta serie, una serie de características únicas que vienen de serie con una suscripción al software Qumulo Cloud Q lo convierten en una opción atractiva en AWS para una variedad de casos de uso y flujos de trabajo de alto rendimiento.

 

Lo instamos a tener curiosidad con AWS y el archivo Qumulo servicios de datos. Puede encontrar más información sobre Asistencia Qumulo Care, aquí: Qumulo en AWS: Primeros pasos.

Otra opción es usar el Inicio rápido de Qumulo Studio Q, que pone en marcha un entorno completo de posproducción en la nube para la edición remota de video e incluye un clúster de Qumulo y Adobe Creative Cloud para la edición. Por último, Qumulo también se puede implementar como un Estudio ágil de AWS opción para el sistema de archivos.

Artículos Relacionados

Ir al Inicio