El viaje de FuseFX a la nube híbrida con Qumulo

La innovación en la nube resuelve el problema de capacidad insoluble de FuseFX

Hoy, las tres ubicaciones de FuseFX tienen más de 60 programas de televisión en producción simultáneamente, además de varios proyectos comerciales y de largometrajes. La compañía ha proporcionado efectos visuales para todos los principales estudios en producciones como American Horror Story, Marvel's Agents of SHIELD y The Tick.

Jason Fotter, cofundador y CTO de FuseFX, es muy consciente de los desafíos que conlleva construir y administrar una granja de render. “Para mí, ha sido un proceso de 'aprender sobre la marcha'. Me han sorprendido muchas veces durante el crecimiento de la empresa. La cantidad de energía y calor que genera una granja de render, y la infraestructura necesaria para transportarla, es masiva ”, afirmó.

“Con los años descubrí que, sin importar el tamaño de la granja que tengas, puedes invadirla fácilmente en cualquier momento. Cuanto más tenga, más usará. El problema surge cuando te enfrentas a una entrega y el tiempo no está de tu lado. Necesitamos poder actuar rápidamente en estos momentos y eso es difícil de hacer con la infraestructura física. La energía, la refrigeración y el espacio físico son recursos limitados que ponen límites a lo que puede lograr ".

Una restricción siempre presente es que los programas de televisión episódicos tienen plazos ajustados. “Tenemos dos o tres semanas para hacer nuestro trabajo [con televisión episódica]. Las películas tienen seis meses a un año o más. Los comerciales definen sus propios horarios. La televisión es un proceso agitado. Obtienes tus vacunas, tienes dos o tres semanas para hacerlas, y boom están fuera, próximo episodio, lo mismo, próximo episodio, lo mismo. Es realmente rápido ", comentó Fotter.

Debido a horarios agresivos, el éxito puede traer su propio conjunto de problemas. Incluso alquilar equipos puede no ser una solución factible. Al considerar cuánto tiempo lleva ordenar, entregar y apilar y agrupar los nodos; el desafío de encontrar hardware de alquiler disponible; al encontrar suficiente espacio en el centro de datos, energía, redes y refrigeración, puede parecer que no hay respuesta, a menos que una organización comience a mirar la nube.

“Antes de la nube, no sé si había una solución. Tal vez la ubicación conjunta realmente costosa, o algún otro escenario loco, pero la nube comenzó a convertirse en una forma razonable para que realicemos algunos de nuestros trabajos de renderizado más urgentes ”, dijo Fotter.

Qumulo habilita el flujo de trabajo de archivos que FuseFX estaba buscando en la nube pública

A finales de 2016, Fotter sabía que Bracket Computing ya no sería una opción y comenzó a buscar alternativas. “Estaba realmente enfocado en el precio y el rendimiento. ¿Quién tenía las características que estábamos buscando? ¿Quién quería desarrollar una relación con nosotros en la representación de efectos visuales? Pensé que nuestro proceso era realmente innovador y quería a alguien que sintiera lo mismo ”.

Mientras evaluaba sus opciones, Amazon compró Thinkbox, los creadores de Deadline, un software que gestiona las canalizaciones de representación. FuseFX ya estaba ejecutando Deadline en la nube y AWS estaba buscando un cliente así, por lo que Fotter sabía que había encontrado al socio que FuseFX estaba buscando.

Uno de los objetivos de Fotter y FuseFX era expandir la granja de renderización virtual. Con la solución Bracket, Fotter estaba ejecutando una única instancia de Linux de alta potencia en AWS, pero la arquitectura de almacenamiento no podía manejar más que máquinas virtuales 200 a 300.

Fotter sabía que necesitaba un almacenamiento rápido y agrupado si quería ejecutar más instancias. “Se nos ocurrieron todo tipo de ideas. Pensamos en aprovechar S3 y sincronizar todo con las máquinas locales, pero eso no encajaba con la forma en que trabajamos. Hablamos con Avere varias veces, pero están muy centrados en NFS y somos una tienda de Windows. Nada estaba dando en el clavo exactamente por lo que estaba buscando ”.

FuseFX ya tenía un clúster de Qumulo en las instalaciones. Fotter había hablado con Qumulo sobre su necesidad de una solución basada en la nube, y cuando se enteró de que la empresa estaba ofreciendo su software en AWS, aprovechó la oportunidad para probarlo. Cloud Q de Qumulo en AWS aprovecha Amazon EC2 y EBS; la; el equipo experimentó con una sola instancia desde el principio y le gustó lo que vio, por lo que cuando el clúster de cuatro nodos estuvo disponible, Fotter estaba listo para integrarlo en su flujo de trabajo de producción.

FuseFX pone su solución a la prueba definitiva mientras renderiza The Tick

El grupo de Qumulo se puso a prueba cuando la compañía estaba trabajando en un episodio de The Tick. "Nuestro proceso es que las personas trabajen durante el día, presenten sus trabajos y luego rindamos durante la noche", describió Fotter. "Cuando llegan al día siguiente, miran los marcos, evalúan dónde están y lo envían a la siguiente tarea, o pueden decidir que necesitan volver a renderizar algo".

“Y nuevamente, solo tenemos dos o tres semanas para un solo episodio. A menudo comenzamos un proyecto cerca de la entrega de los primeros episodios. No tenemos mucho tiempo que perder. Si tenemos un problema, siempre es un problema crítico. Llegamos una mañana y descubrimos que había habido problemas durante la noche. Debe haber habido trabajos 50 en cola que no representaron un solo fotograma. El nivel de estrés del equipo de producción era bastante alto en ese momento. Habíamos apuntado a las máquinas 1,000 como objetivo máximo de capacidad. Sabía que llegaría un momento en el que querríamos estallar tan alto, y era evidente que ahora era ese momento. Cada instancia de EC2 Spot tenía núcleos 32, ¡así que son núcleos 32,000 a la vez! ”

“Le dije a mis wranglers de render que si tenían un marco para renderizar, active un nodo para ello. Solo hazlo. Sabíamos que con Qumulo podríamos soportar ese tipo de rendimiento. Y lo hicimos. Obtuvimos los marcos renderizados en la nube y los volvimos a instalar en las instalaciones. En realidad, estábamos renderizando tan rápido que el cuello de botella estaba recuperando los marcos de nuestro clúster en la nube ".

“Nos salvamos a nosotros mismos. Esa es una prueba real de que la solución funciona. No hay forma posible de instalar máquinas 1,000 en nuestra red aquí. No tengo el poder o la refrigeración para soportarlos. Pudimos tomar la decisión y, en menos de una hora, renderizar en máquinas 1,000. Una vez finalizados los trabajos, simplemente terminamos las instancias. Cuando pienso en lo fácil que fue, todavía no suena real ".

La utilización inteligente de aplicaciones ayuda a que la infraestructura de FuseFX cante

Además de Qumulo, la canalización de FuseFX utiliza instancias puntuales EC2 para computación escalable y de bajo costo, fecha límite para la gestión de colas y ofertas de gestión para las instancias puntuales, licencias basadas en el uso (UBL) de Thinkbox Marketplace para licencias flexibles y V-Ray para renderizado.

“Si agota sus licencias locales, puede comprar licencias por minuto o por hora de Deadline y V-Ray. Una vez que se alcanza el límite de su licencia local, el software envía esas solicitudes a la tienda, supervisa el uso y deduce a partir de ese momento. Es como una tarjeta telefónica. Usted compra una tarjeta de llamada con una hora de tiempo de llamada y cada llamada que realiza se deduce de eso ”. Todo está coordinado por el servidor local, que está conectado a las instancias de la nube con una VPN.

Una vez que se sincroniza con el clúster Qumulo en AWS, la representación puede ocurrir tanto localmente como en la nube al mismo tiempo. Una máquina local puede, por ejemplo, recoger el primer cuadro, y un nodo en la nube puede recoger el segundo cuadro. La fecha límite gestiona la distribución para que la nube sea simplemente una extensión de la granja de procesamiento local.

FuseFX todavía está trabajando en la automatización. “Utilizamos un AMI personalizado que tiene algo de automatización interna. Para eso, usamos CloudFormation. Se instala en la red, monta el almacenamiento de Qumulo, configura Deadline Slaves y algunas otras cosas. En este momento, comenzamos y terminamos las instancias de Qumulo manualmente ”, dijo Leslie.

“Si tenemos un marco de tiempo a largo plazo en el que sabemos que no vamos a usar Qumulo, lo terminamos y se lo comunicamos al equipo de soporte de Qumulo. Hemos aprendido que debemos decirles cuando lo apagamos porque lo supervisan tan bien que, de lo contrario, cuando lo terminamos, la gente comienza a llamarme para decirme que mi clúster de nube está inactivo ".

La importancia de un flujo de trabajo bien orquestado

Fotter ha aprendido bastante desde que FuseFX comenzó a usar la nube. “Lograr el flujo de trabajo correcto es el mayor desafío. La representación es complicada y los efectos visuales son un proceso inherentemente ineficiente. Cuanto más pueda crear eficiencias en el flujo de trabajo, mejor será ”, dijo.

“Resolver el problema de sincronización de datos es la parte más difícil porque los trabajos de renderizado requieren muchos activos, texturas, geometría, cachés de simulación y cualquier otra cosa que necesites para crear la imagen final. Cuando está renderizando en la nube, si le falta una pequeña textura y ese trabajo se representa incorrectamente, ha desperdiciado todo ese dinero. Hemos pasado por esos dolores.

“Hemos aprendido de la manera difícil, pero siempre me he enfocado en el proceso y saber que puedes crear una solución. Entonces, para reducirlo, mi consejo es probarlo. Cree un plan, pruébelo, comprométase con él y realmente comprenda su flujo de trabajo de principio a fin ”.

Al final, el archivo, no el objeto, es clave para el proceso de efectos visuales.

Fotter también afirmó la importancia de los datos basados ​​en archivos para su flujo de trabajo. “Sería bueno poder usar el almacenamiento de objetos, pero no tenemos un solo producto en nuestro entorno que lo use. No tiene sentido Somos un flujo de trabajo basado en archivos. Así es como funciona el proceso de efectos visuales. Tenemos una gran cantidad de archivos en un sistema de archivos. Nosotros los leemos. Los incorporamos a nuestras aplicaciones. Trabajamos en ellos. Hacemos nuestro trabajo creativo y creamos más archivos ".

“Los archivos son el medio de intercambio entre aplicaciones que no fueron necesariamente escritas por la misma compañía. ¿Cómo se obtiene algo del paquete de animación en el paquete de representación? Esas son dos disciplinas diferentes, dos áreas de enfoque diferentes, por lo que debe crear flujos de trabajo que se integren entre las aplicaciones, y un archivo es la forma de hacerlo ".

“Entonces se deduce que sin un sistema de archivos de alto rendimiento en la nube, nuestro flujo de trabajo sería imposible. Qumulo es la base de nuestra solución de almacenamiento de AWS. Sin ella, no podríamos expandirnos a la capacidad que tenemos ”.