Qumulo para AWS mueve los conjuntos de datos a un clúster de Qumulo en AWS, los presenta en nodos basados en la nube y luego los vuelve a mover a un clúster de Qumulo local. Este flujo de trabajo es uno que muchos clientes de Qumulo experimentan regularmente, y me gustaría compartir algo de lo que aprendí para ayudarles a lograr esto con usted.
El problema
Con demasiada frecuencia, cuando está realizando un trabajo grande, o quizás muchos trabajos, se vuelve dolorosamente obvio que necesita más recursos. Esta realización generalmente ocurre cuando su fecha límite se avecina peligrosamente en el horizonte. ¿Qué haces?
Prueba una versión gratuita de Qumulo para AWS
Cálculo de nodos de alquiler frente a nube, costo frente a tiempo
Es bastante sencillo calcular el costo de los nodos de hardware de alquiler frente al tiempo de cómputo / almacenamiento en un proveedor en la nube. Hay un punto de equilibrio Cuando se toma en cuenta el tiempo que se tarda en ordenar, entregar, y acumular y apilar los nodos, sin mencionar el desafío de encontrar el hardware de alquiler disponible, así como suficiente espacio en el centro de datos, energía, redes y refrigeración, la nube comienza sonar como una buena alternativa si la demanda es lo suficientemente alta. Entonces, ¿cómo haces estallar tu representación en la nube? Hay puertas de enlace de objetos, pero todas las aplicaciones de representación más utilizadas se basan en archivos y ¿quién quiere lidiar con esa falta de coincidencia? Con Qumulo para AWS, y algunas configuraciones, se puede hacer!
https://qumulo.wistia.com/medias/716hfg21h7
Determinación de la infraestructura
Esencialmente, desea extender la granja de servidores de presentación física (y toda la infraestructura que lo acompaña) a la nube. NFS / SMB a través de un enlace WAN puede ser extremadamente lento debido a la latencia. Por otro lado, es razonable configurar un clúster en la nube que pueda servir archivos localmente a los nodos de procesamiento en la nube. Los conjuntos de datos se pueden replicar en la nube y los resultados pueden retroceder. Obviamente, hay diferentes niveles de cómputo disponibles en la nube y esto debería figurar en sus cálculos de costos. Pague más por un cómputo más rápido y poderoso o pague menos por recursos más lentos e interrumpibles.
También debe pensar en establecer un punto de control razonable en sus renders. Si elige un nivel que puede ser interrumpido, reiniciar los renders desde el último punto de control puede ser fácil o doloroso dependiendo de su configuración.
Puede automatizar la configuración de sus recursos en la nube con scripts o con herramientas de automatización de implementación. Hay muchos paquetes por ahí y rodar los tuyos no es tan difícil.
Configurando correctamente la VPN
Por supuesto, la seguridad es una preocupación principal, por lo que debe configurar correctamente su VPN. Esa conexión proporciona la comunicación de comando y control a los nodos de la nube y les permite verificar las licencias de su servidor de licencias local. OpenVPN es genial y los clientes están disponibles tanto para Linux como para Windows. ¡Algunos cortafuegos incluso lo admiten de forma nativa! Deberá distribuir claves y archivos de configuración a cada nodo de la nube. También puede restringir la conectividad IP de las instancias en la nube para que solo su red local pueda acceder a ellas (y viceversa, desea que solo sus instancias en la nube accedan a su red).
Acceso al servidor de licencias
¡No puedes renderizar sin un servidor de licencias! Desafortunadamente, la mayoría de las licencias (y los servidores de licencias) están codificados en una dirección MAC física, y probablemente ya tenga una o más establecidas en su entorno. Es posible generar una instancia virtual en la nube, pero cada vez que lo inicies obtendrás una IP (y una dirección MAC) diferente, lo cual es doloroso si necesitas obtener nuevas licencias. Al utilizar una VPN, dirige todas las consultas de licencias desde la nube a su infraestructura a través de un canal seguro. (Esto supone que tiene licencias flotantes disponibles para los nodos de procesamiento en la nube).
Usando el control de la cola
¿Cómo gestionas y controlas los renders? En el pasado he usado Se prorroga, pero cualquier software de gestión de colas debería funcionar. La conexión VPN proporciona conectividad a su administrador de colas para las instancias de la nube y deben aparecer como clientes regulares (suponiendo que instale todos los paquetes apropiados). Aquí nuevamente, las licencias funcionan a través de la conexión VPN. Tiene sentido configurar un grupo separado solo para los nodos de la nube.
Usando la replicación
¿Cómo consigues tus datos desde y hacia la nube? Con Qumulo, la replicación es fácil de configurar. Usted establece el directorio y comienza o programa el trabajo. Los datos se replican sin problemas desde un clúster local a una instancia de nube de Qumulo. Una vez más, este tráfico puede fluir a través de la conexión VPN segura.
¡Hazlo!
Ahora que la infraestructura está en su lugar, ¡consigamos algunas escenas renderizadas! Replique un conjunto de datos que deba procesarse desde su clúster local a la instancia de Qumulo for AWS. Los nodos de procesamiento tienen una exportación NFS (o SMB share) montada desde la instancia de Qumulo en la nube y, por lo tanto, se montan "localmente" en la nube. No hace falta decir que desea que todos los nodos de procesamiento y la instancia de Qumulo en la misma región. Inicie el administrador de colas y envíe un trabajo a los nodos de la nube. Debería funcionar de la misma manera que los nodos locales. Una vez que se complete el trabajo, replica los marcos resultantes en tu clúster local.
Cerrando
Una vez finalizado el trabajo, puede cerrar o terminar el clúster Qumulo y generar los nodos. Si apaga las instancias, solo acumularán cargos de almacenamiento en la nube. Encienda el clúster de nuevo la próxima vez que necesite saltar a la nube. Alternativamente, puede terminar el clúster y configurarlo nuevamente cuando lo necesite.
¡Feliz representación!
