En esta serie de blogs de tres partes, analizamos los diez problemas de administración de datos de archivos más comunes de los entornos de almacenamiento a gran escala. Pero primero, un poco de contexto.
La escala de dolor universal para entornos de almacenamiento de archivos muy grandes
Muchos de ustedes han visto un escala universal del dolor en un hospital o una sala de emergencias, donde su médico le pregunta: "En una escala del 1 al 10, ¿cuánto duele?" Su respuesta ayuda a los profesionales médicos a evaluar la gravedad de su dolor, para que puedan prescribir el tratamiento y asignar los recursos de manera adecuada.
He descubierto que gráficos como este también ayudan a clasificar los problemas identificados al evaluar entornos de almacenamiento de archivos muy grandes. Cuando se analiza una arquitectura, ingeniería y administración de almacenamiento, el problema es la medición cualitativa del impacto en la productividad de sus usuarios.
Por ejemplo, puede haber un problema simple con una solución alternativa fácil que podría calificarse como 2 o algo que "se puede ignorar". Pero también puede haber un problema de rendimiento que asoma su fea cabeza cada vez que la granja de cómputo ejecuta cargas de trabajo de alto rendimiento como simulación física, descubrimiento legal o análisis genómico. En este caso, el dolor está interfiriendo con la capacidad del usuario para concentrarse y terminar un proyecto, poniendo la escala de dolor en un 6 (“interfiere con la concentración”).
O es posible que tenga un error persistente en su sistema de almacenamiento, lo que hace que se apague aleatoriamente durante una hora a la vez. Eso detiene el almacenamiento de datos por completo y se vuelve bastante doloroso; eso es casi un 8 ("interfiere con las necesidades básicas"). Luego hay una pérdida completa de datos, que es un 10 ("¡se requiere reposo en cama!").
El punto es que puede haber muchos problemas en su entorno de almacenamiento, ya sea que sea un editor, un científico, un arquitecto de la nube, un artista, un administrador de almacenamiento o un ingeniero. Sus cargas de trabajo aumentan a medida que la organización intenta obtener más productividad y dinero con menos equipo, menos talento y menos tiempo. Y las demandas comerciales aumentan constantemente, ya sea por el tamaño del proyecto, el rendimiento total o incluso el tiempo de respuesta.
Explorando los 10 problemas de almacenamiento más comunes, unos pocos a la vez
En Qumulo, hablamos con muchas empresas, organizaciones y usuarios sobre sus problemas de almacenamiento de datos. Nos basamos mucho en los datos y entrevistar a los líderes empresariales y a los usuarios nos ayuda a descubrir qué funciona, qué no y qué debe cambiar. Nuestras conversaciones nos han demostrado que las fuentes más comunes de problemas de almacenamiento incluyen las siguientes diez.
- Dolor de capacidad (el almacenamiento no es lo suficientemente grande)
- Dolor de rendimiento (el almacenamiento no es lo suficientemente rápido)
- Escalar el dolor (¡el rendimiento o la capacidad no pueden crecer de manera efectiva, tanto en las instalaciones como en la nube!)
- Dolor de software heredado (los sistemas obsoletos afectan el rendimiento del usuario)
- Dolor de disponibilidad (el almacenamiento carece de capacidad de recuperación y se cae ocasionalmente, lo que afecta la productividad)
- Dolor de presupuesto (el almacenamiento siempre es demasiado caro)
- Ceguera de datos (sin saber cómo se utilizan sus datos o qué está pasando en sus repositorios de almacenamiento)
- Dolor por la pérdida de datos (el peor de los casos)
- Dolor de localidad de datos
- Dolor de migración de datos
Lidiar con la capacidad de almacenamiento, el rendimiento y los problemas de escala
Para cada una de las fuentes de dolor anteriores, analizaré por qué se manifiestan, qué tipo de dolor causan y cómo los administradores de almacenamiento pueden resolver problemas específicos.
1. Dolor en la capacidad de almacenamiento: el almacenamiento no es lo suficientemente grande
La queja de almacenamiento más antigua es "¡necesitamos más espacio!" Esto se remonta a la antigüedad, cuando almacenamos alimentos en graneros; siempre necesitas más espacio para las cosas importantes que deseas almacenar.
Como administrador, ¿alguna vez ha tenido que lidiar con un sistema de archivos completamente completo? O como usuario, ¿alguna vez ha tenido que detener lo que está haciendo y limpiar sus archivos, o esperar a que los administradores le den más espacio? Los sistemas de archivos completos son una realidad: a veces es un error del usuario, a veces es un error de ingeniería y, a veces, solo sucede en el transcurso del trabajo normal.
A nadie le gusta tirar cosas, y nadie sabe el valor de grano de sus datos como hacen los usuarios. Como resultado, los administradores a menudo no pueden limpiar las cosas de forma segura en nombre de los usuarios. Desafortunadamente, este suele ser el primer paso necesario para reanudar la producción.
Lo primero que hay que averiguar: dónde está el problema en el árbol analizando la estructura del directorio. Hay algunas herramientas comunes que hacen esto: du en una caja de Linux, Obtener información en una Mac o clic derecho-> Propiedades en una caja de Windows. Todas estas herramientas caminan sobre un árbol, registran todo lo que encuentran, suman la capacidad y, finalmente, le presentan una respuesta. Esto funciona muy bien si su sistema de archivos solo tiene 10,000 archivos, pero si tiene cientos de millones, o incluso miles de millones de archivos, será una molestia. Cien millones de archivos pueden tardar hasta un día en visitarse y regresar con una respuesta, y es posible que deba enjuagar y repetir ese proceso a medida que desciende al sistema de archivos en su búsqueda.
Algunas reflexiones sobre cómo abordar el problema de la capacidad de almacenamiento:
- Busque formas modernas de analizar la capacidad. Las herramientas tradicionales tienen que escanear, lo que genera operaciones de E / S innecesarias y largos tiempos de espera para obtener respuestas.
- Asegúrese de que el sistema de almacenamiento que está considerando tenga acceso programático a los metadatos de capacidad de alguna manera, preferiblemente a través de una API. Puede integrar esos datos de capacidad con su sistema de gestión de producción, su administrador de activos de medios o su sistema de monitoreo de red, etc. Quiere que los datos de capacidad sean fáciles de consumir y manipular.
- Use cuotas o volúmenes para ayudar a controlar el comportamiento del usuario, como llenar su almacenamiento con copias interminables de sus datos de trabajo o sus colecciones de películas personales gigantes.
- Busque sistemas que puedan escalar la capacidad de forma transparente y sencilla (¡más sobre eso en un momento!).
El almacenamiento es fundamental para nuestro negocio, que es básicamente una manguera contra incendios de datos. No podríamos hacer nuestro trabajo sin una solución escalable de alto rendimiento y alta densidad de algún tipo.
Nathan Conwell, ingeniero senior de plataformas, Imágenes Vexcel
2. Dolor en el rendimiento del almacenamiento: el almacenamiento no es lo suficientemente rápido
El rendimiento puede ser un término bastante nebuloso, pero cuando la gente de almacenamiento habla de él, generalmente se trata de rendimiento, iops o latencia de un solo sistema o una población de sistemas. Debe encontrar un equilibrio entre los usuarios que serán muy sensibles a la latencia y las granjas de cómputo, que generalmente se enfocan en el rendimiento para que puedan llenar los espacios de memoria con cosas para computar.
El rendimiento ultraalto solía ser el dominio exclusivo de SAN compartidos y sistemas de archivos paralelos de alta velocidad. Hoy, descubrimos que NAS realmente ha comenzado a ponerse al día. Tenemos hardware más rápido, almacenamiento flash, mejores técnicas de diseño de datos, mejores enfoques de protocolo; todas esas cosas han ayudado / están ayudando a NAS a eliminar los requisitos de ancho de banda / SAN. Creo que verá que cada vez más partes interesadas prefieren la simplicidad de NAS a la complejidad de SAN.
Otros remedios para el dolor en el rendimiento del almacenamiento:
- Intente abordar los posibles problemas de rendimiento con anticipación. Cuando sea posible, comprenda bien los flujos de trabajo esperados antes de cortar la infraestructura.
- Asegúrese de haber elegido un sistema del tamaño adecuado para su sistema; puede ahorrar dinero con un sistema escalable y solo comprando el almacenamiento que necesita en este momento. Cuando sea posible, intente calcular la probabilidad de que necesite más espacio para la cabeza y cuándo va a necesitar más.
- Más allá de lo anterior, es posible que necesite un sistema que pueda girar hacia arriba y hacia abajo. Si planea pasar días o semanas entre proyectos y no necesita el sistema de almacenamiento para nada más, podría tener sentido considerar un modelo de trabajo en la nube pública bajo demanda que aproveche el acceso remoto, en lugar de una instalación local. .
- La necesidad de apoyar a una fuerza laboral remota es otro factor impulsado por la pandemia mundial. La industria de los medios de comunicación y el entretenimiento ha experimentado una demanda extrema. Para cumplir con los plazos de producción y permitir que los equipos creativos colaboren virtualmente, muchos estudios buscaron en la nube edición de video remota en estaciones de trabajo virtuales en un entorno de posproducción.
- Si tiene un valor atípico de carga de trabajo muy pesado, como una sola estación de trabajo de alta velocidad, vea si puede resolverlo con una solución puntual. Una estación de trabajo no debería ser el controlador para comprar una gran cantidad de almacenamiento de alta velocidad. Simplemente se desperdiciará en la mayoría de sus cargas de trabajo.
- Por otro lado, si tiene muchas cargas de trabajo que consolidar, considere la eficiencia de almacenamiento beneficio de combinar cargas de trabajo de bajo y alto rendimiento en el mismo sistema. Obtiene los beneficios de la eficiencia del almacenamiento de un sistema más grande sin afectar negativamente ninguna carga de trabajo.
3. Problemas de escalado del almacenamiento: el rendimiento o la capacidad no pueden crecer de manera eficaz tanto en las instalaciones como en la nube pública
Es interesante escalar el almacenamiento de datos. Si su empresa está creciendo, sus cargas de trabajo probablemente también lo estén y eso significa que debe sopesar muchas consideraciones con sus cargas de trabajo al pensar en aumentar la capacidad o el rendimiento.
Si bien la última década ha visto mejoras en el escalado de los sistemas de archivos de almacenamiento, la mayoría no son fáciles de expandir y muchos son realmente difíciles de hacer grandes en primer lugar. Veamos algunos problemas específicos:
- Si tiene cargas de trabajo impredecibles, busque un sistema de archivos que sea fácil de escalar para que pueda asumir cargas de trabajo en expansión o cargas de trabajo nuevas con confianza.
- Comprenda sus cargas de trabajo. Sepa cuál es el verdadero costo de infraestructura de sus flujos de trabajo y procesos (es decir, capacidad, rendimiento, requisitos de conectividad). Cuando la empresa se acerque a usted con un requisito de expansión, podrá dimensionar con confianza la expansión de su infraestructura para adaptarse.
- Considere si tiene sentido que algunas de sus cargas de trabajo se ejecuten en la nube. Si su sistema de archivos admite una estrategia de nube híbrida, puede aprovechar el rendimiento y la capacidad de la nube para cargas de trabajo ráfagas cuando sea necesario.
“Nuestro equipo ha podido mantener la escala de ráfagas a una tasa de 1.3 millones de IOPS durante más de 5 horas a la vez, con picos de hasta 2 millones de IOPS. Este es un nivel inaudito en el pasado, y resalta cuánto Qumulo nos ha ayudado a condensar nuestros cronogramas de producción cuando es necesario y permite a los artistas tener más iteraciones en menos tiempo, lo que en general resulta en un trabajo final de mayor calidad ".
Jeremy Brousseau, director de TI, Cinesite Vancouver
Próximamente: el software heredado, la disponibilidad y los problemas presupuestarios
En próximo artículo, exploraremos tres más de los 10 problemas de almacenamiento más comunes de los entornos de almacenamiento de archivos muy grandes. Estos son los problemas de los sistemas obsoletos en el rendimiento de los usuarios, la falta de disponibilidad en su productividad y el costo de expandir el almacenamiento.
Moderno de qumulo software de gestión y almacenamiento de datos de archivos fue diseñado específicamente para admitir estrategias de nube híbrida para cargas de trabajo de alto rendimiento a escala masiva.
