Azure Native Qumulo ahora disponible en la UE, el Reino Unido y Canadá: Más información

La representación de VFX presenta enormes desafíos de almacenamiento de datos

Escrito por:
Para manejar tuberías de producción complejas, los estudios de VFX necesitan un sistema de almacenamiento que ayude al negocio a crecer mientras mantiene los costos bajos.

La animación y los efectos visuales (VFX) están en el corazón de la producción cinematográfica moderna. La producción digital, tal como la conocemos, comenzó a principios de los 1990 con películas como "Terminator 2" y "Jurassic Park". Esas películas abrieron nuevos caminos en lo que se podría hacer con los efectos visuales. Luego, “Toy Story” en 1995 se convirtió en la primera película animada de larga duración generada digitalmente, y el resto es historia de la película.

Paralelamente a la producción de estas películas fue la "democratización" de los efectos visuales. Esto comenzó en los primeros 1990 con productos de código abierto y paquetes patentados que las compañías producían y vendían, reemplazando las herramientas internas disponibles solo para los pioneros de la industria. También se empezaron a establecer estándares como los formatos de archivo, lo que permitió que el ecosistema emergente de herramientas de producción digital se vinculara en tuberías de procesamiento flexible.

Haga clic aquí para saber cómo Qumulo for VFX Rendering puede proporcionar la velocidad y escalabilidad que los estudios de VFX necesitan para cumplir con plazos ajustados y mantener bajos los costos.

Con acceso a tuberías reutilizables, los estudios comenzaron a centrarse en los aspectos más creativos de su comercio, como la creación de personajes con características físicas cada vez más complejas. En "Monsters, Inc.", hecho en 2001, Sully tenía aproximadamente 1 millones de pelos. En "Monsters University", hecho en 2013, él tenía alrededor 5.5 millones de pelos.

Retos del flujo de trabajo de VFX.

Un ducto de producción de VFX es complejo, con muchos procesos y muchos de ellos. El mayor desafío es administrar el gran volumen de información necesaria para producir imágenes fotorrealistas. Una sola criatura puede estar compuesta por cientos, si no miles de activos digitales. A menudo es necesario reunir terabytes de datos que se deben representar y / o componer.

Datos volumétricos, que es esencial para muchos efectos de pan y mantequilla, incluyendo nubes, polvo, agua, fuego y líquidos, es otro ejemplo de extrema complejidad. Los datos suponen un desafío tanto por su gran espacio físico como porque a menudo requieren la conversión a otros formatos antes de que puedan ser utilizados por otras herramientas.

Aquí hay una canalización de VFX muy simple para la representación local.

Almacenamiento VFX: diagrama que muestra cómo el sistema de almacenamiento Qumulo encaja en un flujo de trabajo VFX

La mayoría de las tuberías son, en realidad, mucho más complejas y mucho menos lineales que las que se muestran arriba. Por ejemplo, la edición puede tener lugar antes de que estén disponibles las tomas de VFX. Crear efectos especiales requiere mucho tiempo. Los editores pueden trabajar sin los efectos especiales completados, utilizando versiones simuladas como stand-in, y luego soltar los disparos completos cuando estén disponibles.

Puntos de dolor de almacenamiento para la representación de VFX en las instalaciones

En general, el motor del crecimiento de VFX es que la tecnología se ha vuelto mejor, más barata y más rápida, lo que significa que la animación y los efectos especiales se han vuelto cada vez más ambiciosos. Estas películas complejas requieren un sistema de almacenamiento moderno y altamente escalable que esté diseñado para manejar miles de millones de archivos.

El énfasis está en "archivo" porque VFX es un flujo de trabajo basado en archivos y los archivos son el medio de intercambio entre aplicaciones que no fueron escritas necesariamente por la misma compañía. Los flujos de trabajo deben integrarse en todas las aplicaciones y el archivo es la forma de hacerlo.

Cualquier organización que confíe en su sistema de almacenamiento de archivos tan fuertemente como lo hacen los estudios VFX siempre es sensible a una variedad de problemas. Éstos incluyen Rendimiento, escalabilidad, adaptabilidad y visibilidad. El rendimiento del sistema de almacenamiento es siempre importante. Los sistemas que son demasiado lentos pueden matar de hambre a la granja de reproducción o impedir que los artistas trabajen mientras se realiza la reproducción. A medida que más y más estudios se mueven a 4K y resoluciones más altas, el rendimiento será cada vez más crítico.

La cantidad cada vez mayor de datos que generan las tiendas de efectos visuales puede llenar fácilmente su sistema de almacenamiento. Nuevamente, se debe considerar la llegada de 4K porque significa huellas de datos mucho más grandes. Dependiendo de lo que estén usando, las demandas de más capacidad pueden significar que el estudio debe reemplazar todo el sistema de almacenamiento o comprar nuevos controladores de metadatos y shells de almacenamiento.

Una pequeña tienda de VFX podría, cuando se inicie, usar un sistema de almacenamiento que el equipo haya armado. A medida que su negocio crezca, ese sistema tendrá que ser reemplazado. Querrán pasar a un sistema de almacenamiento de archivos escalable y comercial con características empresariales que les ayudará a asumir más proyectos y crear efectos más sofisticados.

La visibilidad es una limitación de los sistemas de almacenamiento heredados. La mayoría de las tiendas de M&E utilizan un script / programa de árbol para administrar su almacenamiento. Los treewalks son extremadamente lentos cuando los sistemas de archivos son grandes. Los administradores pueden literalmente esperar días para obtener respuestas, lo que significa que los datos son inútiles.

Cualidades de un moderno sistema de almacenamiento VFX

La administración de estudio de VFX necesita un sistema de almacenamiento que ayude a la empresa a crecer mientras mantiene los costos bajos. La capacidad de escalar a miles de millones de archivos es importante para que el sistema pueda seguir el ritmo de la expansión de la compañía. El TCO también importa. Lo que cuesta el almacenamiento en sí es solo el comienzo. Hay otros factores, como la facilidad de instalación y administración del sistema. Otro factor es la eficiencia del uso del espacio en disco. Cuanta más eficiencia, menos almacenamiento se necesita y menores son los costos de infraestructura, como el enfriamiento y la energía.

Un modo de suscripción simple que cubre todo, incluidas las actualizaciones y el soporte, ayudará a que los costos sean transparentes. La asistencia al cliente que proporciona acceso instantáneo a un experto en almacenamiento dedicado a través de herramientas de comunicación como Slack es una necesidad.

Los artistas necesitan ver los grupos de datos como un solo volumen, en lugar de tener que lidiar con múltiples discos o volúmenes aprovisionados. Necesitan un sistema que sea lo suficientemente rápido para que puedan funcionar mientras se procesan los marcos.

Los administradores de TI necesitan visibilidad y control en tiempo real para obtener información sobre lo que está sucediendo en el sistema de almacenamiento ahora, hasta el nivel de archivo. El explorador de capacidad y las herramientas de tendencias de la capacidad les permitirán ver quién está usando la mayor cantidad de almacenamiento ahora y con el tiempo, para que puedan planificar con sensatez para un uso futuro y no preocuparse por el exceso de provisiones. La capacidad de identificar puntos de acceso y aplicar cuotas de forma inmediata les permitirá detener cualquier proceso que monopolice los recursos de almacenamiento.

Representación de VFX en la nube

Los problemas como la escalabilidad y el rendimiento, que usted esperaría de cualquier organización que tenga que lidiar con un número cada vez mayor de archivos, se exacerban para los estudios VFX porque no pueden tolerar demoras en su programación para agregar más recursos.

Los estudios de VFX pueden superar fácilmente la capacidad de sus granjas de procesamiento locales. La energía, el enfriamiento y el espacio físico son recursos finitos que ponen límites a lo que el estudio puede lograr. Un nuevo proyecto o uno con complicaciones inesperadas puede agotar los recursos de cómputo y almacenamiento disponibles en cualquier momento.

Con plazos ajustados, no hay tiempo para construir la infraestructura física. Incluso alquilar un equipo puede no ser una solución viable. Al considerar cuánto tiempo lleva ordenar, entregar, y acumular y apilar los nodos, el desafío de encontrar el hardware de alquiler disponible y el desafío de encontrar suficiente espacio, energía, redes y refrigeración en el centro de datos, puede parecer que no hay respuesta. a menos que empieces a mirar la nube.

De hecho, muchos estudios VFX están interesados ​​en la nube. Es posible que la mayoría del trabajo aún sea local, pero si hay un trabajo inesperadamente complejo o más trabajo del que se anticipó originalmente, los estudios quieren la opción de usar la nube para manejar la sobrecarga.

Puntos de dolor de almacenamiento para la representación de la nube

Muchas de las mismas consideraciones para la representación local se aplican a representación en la nube pero hay algunos temas específicos que deben ser considerados. Desafortunadamente, si bien los recursos de cómputo en la nube están disponibles, las soluciones de almacenamiento basadas en archivos a menudo son inadecuadas o son versiones de sistemas de archivos heredados con algunos parches aplicados para que estén "listos para la nube". Limitaciones y complejidad en la configuración del cluster.

Es importante que los estudios puedan al menos igualar el rendimiento de su granja de render en la nube. También deben poder escalar el rendimiento y la capacidad por separado para aprovechar los recursos flexibles que ofrece la nube pública. También debería ser fácil transferir los archivos del clúster local al clúster en la nube y luego devolver los resultados al clúster local.

Evaluando sistemas de archivos basados ​​en la nube

Aquí hay algunas preguntas que los estudios de VFX deben hacerse cuando evaluar soluciones de almacenamiento de datos de archivos basadas en la nube:

  • ¿Su flujo de trabajo utiliza el archivo? Si está pensando en convertir de un archivo a otro, ¿consideraría cambiar de opinión si pudiera obtener un gran archivo en la nube hoy?
  • ¿Usas NFS o SMB? A menudo, cuando piensan en un archivo en la nube, la gente piensa en términos de AWS Elastic File Store, que solo admite NFS. Muchos estudios de VFX son tiendas de Windows, lo que significa que necesitan SMB.
  • ¿Cuál es tu flujo de trabajo? ¿Qué estás tratando de hacer en la nube? ¿Calcular, renderizar, procesar?
  • ¿Qué tipo de métricas de rendimiento necesitas?
  • ¿Cómo se transferirán los archivos entre la nube y la granja de servidores de procesamiento local?

Contáctanos aquí si quieres programar una reunión o solicitar una demostración. Y suscríbase a nuestro blog para obtener mejores prácticas y recursos más útiles.

[qumulo_cta id=”257911″]

Artículos Relacionados

Ir al Inicio