Azure Native Qumulo ahora disponible en la UE, el Reino Unido y Canadá: Más información

Ocho problemas comunes de almacenamiento y formas de resolverlos.

Escrito por:

Muchos de ustedes han visto un escala universal del dolor gráfico en un hospital o en una sala de emergencias. Este gráfico ayuda a los profesionales médicos a evaluar la gravedad del dolor de sus pacientes para que puedan guiar su tratamiento y asignar los recursos de manera adecuada.

En un par de mis trabajos anteriores en servicios profesionales para algunos entornos de almacenamiento muy grandes aquí en el sur de California, comencé a usar una tabla como esta para evaluar los problemas que identificé cuando estaba evaluando un entorno. En términos de arquitectura de almacenamiento, ingeniería y administración, el dolor es la medida cualitativa del impacto en la productividad para los usuarios.

Por ejemplo, puede haber un problema simple con una solución alternativa fácil que se puede calificar como dos o algo que "se puede ignorar". Pero puede haber un problema de rendimiento que se levanta de forma fea cada vez que la granja de computación se ejecuta a pleno capacidad, por ejemplo, cuando los usuarios están haciendo cargas de trabajo de alto rendimiento como descubrimiento legal o análisis genómico. En este caso, el dolor está interfiriendo con nuestra capacidad para enfocar y terminar un proyecto, poniendo la escala de dolor en un seis ("interfiere con la concentración").

O bien, puede tener un error persistente en su sistema de almacenamiento, lo que hace que se apague aleatoriamente durante una hora a la vez. Eso detiene el almacenamiento de datos por completo y eso se vuelve bastante doloroso: eso es casi un ocho ("interfiere con las necesidades básicas"). Luego hay una pérdida completa de datos, que es un 10 (¡se requiere reposo en cama completo!).

El punto es que hay mucho dolor en su entorno de almacenamiento, ya sea un editor, un colorista, un arquitecto, un artista, una administración o un ingeniero. Su carga de trabajo está creciendo a medida que las empresas tratan de exprimir más la productividad y los dólares con menos equipo, menos talento y menos tiempo. Y las demandas de sus clientes aumentan constantemente, ya sea sobre la resolución del proyecto, la profundidad del color, la velocidad de fotogramas, la complejidad del disparo o incluso el tiempo de respuesta.

Aquí vamos a hablar sobre cómo mantenerse sin dolor en el paisaje de almacenamiento. Vamos a explorar algunos de los problemas comunes de almacenamiento y discutir soluciones para ellos. También discutiremos diferentes herramientas y soluciones que abordarán problemas específicos. El objetivo es brindarle una nueva forma de pensar para que pueda resolver una fuente particular de dolor.

En Qumulo, hemos hablado con muchas empresas y usuarios sobre sus problemas de almacenamiento. Nos guiamos por los datos y las entrevistas con los usuarios nos han permitido descubrir qué funciona, qué no y qué debe cambiar. Nuestras conversaciones y nos mostraron que las fuentes más comunes de dolor de almacenamiento incluyen lo siguiente:

1. Capacidad de dolor (el almacenamiento no es lo suficientemente grande)
2. Dolor de rendimiento (el almacenamiento no es lo suficientemente rápido)
3. Dolor presupuestario (el almacenamiento siempre es demasiado caro)
4. Dolor en la escala (el rendimiento o la capacidad no pueden crecer efectivamente)
5. Dolor en el software heredado (los sistemas obsoletos afectan el rendimiento del usuario)
6. Ceguera de datos (sin saber cómo se usan sus datos o qué está sucediendo en sus repositorios de almacenamiento)
7. Dolor en la disponibilidad (el almacenamiento carece de resistencia y disminuye ocasionalmente, lo que afecta la productividad)
8. Dolor por pérdida de datos (el peor de los casos)

Para cada una de estas fuentes, hablaremos sobre cómo y por qué se manifiestan, qué tipo de dolor causan y cómo los administradores de almacenamiento pueden tratar estos puntos de dolor.

Capacidad de dolor

La queja más antigua de todos los tiempos es: "¡Necesitamos más espacio!" Esto se remonta a cuando almacenamos cosas en los graneros: siempre necesitas más espacio para las cosas que deseas almacenar.

Como administrador, ¿alguna vez ha tenido que lidiar con un sistema de archivos completamente completo? O como usuario, ¿alguna vez ha tenido que detener lo que está haciendo y limpiar sus archivos, o esperar a que los administradores le den más espacio? Los sistemas de archivos completos son una realidad: a veces es un error del usuario, a veces es un error de ingeniería y, a veces, solo sucede en el transcurso del trabajo normal.

A nadie le gusta tirar cosas, y nadie sabe el valor de grano de sus datos como hacen los usuarios. Como resultado, los administradores a menudo no pueden limpiar las cosas de forma segura en nombre de los usuarios. Desafortunadamente, este suele ser el primer paso necesario para reanudar la producción.

Lo primero que hay que resolver es dónde está el problema al analizar la estructura del directorio. Usted camina por un árbol, muestra todo lo que encuentra, suma la capacidad y le presenta una respuesta. Esto funciona muy bien si su sistema de archivos solo tiene archivos 10,000, pero si tiene 100 millones, o un billón de archivos, será un dolor. Cien millones de archivos pueden tardar hasta un día en visitarlos y regresar con una respuesta, y es posible que deba enjuagar y repetir ese proceso a medida que desciende al sistema de archivos en su búsqueda.

Algunos consejos rápidos para tratar el dolor de capacidad:

  • Los nuevos participantes en el mercado tendrán formas más modernas de lidiar con el análisis de capacidad que los antiguos, así que no teman a los nuevos proveedores
  • Todos los proveedores ofrecen análisis en algún nivel, así que busque la optimización.
  • Busque acceso de API a los metadatos: si valora el pegamento o la integración estrecha del flujo de trabajo, asegúrese de tener acceso programático a esos datos de escaneo de alguna manera. Por lo tanto, puede integrar esos datos de capacidad con su sistema de gestión de producción, su administrador de activos de medios o su sistema de monitoreo de red, etc. Quiere que los datos analíticos sean fáciles de consumir y manipular.
  • Use cuotas o volúmenes para ayudar con el comportamiento del usuario para ayudar a mantener a los usuarios bajo control que podrían estar llenando su almacenamiento con sus colecciones de películas personales gigantes, por ejemplo.

Dolor de rendimiento

El rendimiento puede ser un término bastante nebuloso, pero cuando la gente de almacenamiento habla de él, generalmente se trata de rendimiento, iops o latencia. Debe llegar a un equilibrio entre los usuarios que serán muy sensibles a la latencia y las granjas de procesamiento, que se centran en el rendimiento. Aquí, nos encontramos con que NAS realmente ha comenzado a ponerse al día, con hardware más rápido, flash, mejores técnicas de diseño de datos, mejores enfoques de protocolo; todas esas cosas están ayudando al NAS a reducir los requisitos de ancho de banda / SAN. Creo que verá cada vez más empresas que buscan ir con la simplicidad de NAS frente a la complejidad de SAN.

Otros remedios para el dolor de rendimiento:

  •  Trate de abordar los posibles problemas de rendimiento por adelantado. Cuando sea posible, entienda bien sus flujos de trabajo esperados antes de dividir la infraestructura.
  • Asegúrese de haber elegido un sistema del tamaño adecuado para su sistema; puede ahorrar un poco de dinero con un sistema escalable y solo comprando el almacenamiento que necesita en este momento. Cuando sea posible, intente calcular la probabilidad de que necesite espacio para la cabeza adicional y cuándo va a necesitar más.
  • Si tiene una carga de trabajo muy pesada, como una única estación de trabajo de alta velocidad, vea si puede resolverla con una solución puntual. Una estación de trabajo, por ejemplo, no debería ser el controlador para que usted vaya y compre una gran cantidad de almacenamiento. Simplemente se desperdiciará para la mayoría de sus cargas de trabajo.

Dolor de presupuesto

Como todos sabemos, el dinero no es infinito y el almacenamiento no es gratuito, e incluso el software libre necesita hardware e ingenieros (no gratuitos) para ejecutarlo. La capacidad de almacenamiento tiene un costo limpio, y ese costo siempre será percibido como demasiado caro, siempre. Muy a menudo me doy cuenta de que la gente se ahorra en dólares por capacidad, e ignora otras cosas, como por ejemplo, dólares por todo, o dólares por iops.

  • Utilice la tecnología de almacenamiento adecuada para su flujo de trabajo. Usar flash cuando no lo necesitas es perder dinero. Usar disco cuando necesites flash simplemente no funcionará.
  • También querrá involucrar a integradores o vars, ya que pasan mucho tiempo hablando con los proveedores y entendiendo el mercado, y pueden agregar valor al evaluar los sistemas. ¡No aceptes VARs que no agregan valor!
  • Vas a entrar en un proceso de compra basado en tu experiencia de almacenamiento anterior y las cosas están cambiando de manera ridículamente rápida: lo que pensaste que hace seis meses 12 probablemente no sea cierto hoy. Haga la investigación cuando planifique un nuevo almacenamiento o una instalación de instalaciones.

Dolor de escala

Si su negocio está creciendo, sus cargas de trabajo probablemente también están creciendo. El almacenamiento a gran escala es interesante, tiene que equilibrar muchas cosas con sus cargas de trabajo que pueden hacer que el sistema sea bastante inutilizable. La mayoría de los sistemas no son muy fáciles de expandir y muchos son realmente difíciles de hacer en grande en primer lugar. Durante la última década, hemos avanzado mucho con los sistemas de almacenamiento.

Si tiene cargas de trabajo impredecibles, busque la facilidad de escala como un valor clave.

Dolor del software heredado

Al contrario de lo que podrían decirle, los grandes proveedores de almacenamiento establecidos ya no están exentos de riesgos. Desea valorar altamente la atención al cliente: si tiene plazos ajustados o grandes conjuntos de datos, consulte el historial de cómo han ayudado a resolver los problemas.

  • No tenga miedo de investigar el desarrollo de software. Hable con los clientes existentes sobre la precisión de la hoja de ruta de ingeniería.
  • Mida sus necesidades previstas a partir de la hoja de ruta. Estará colocando sus joyas de corona en el sistema de almacenamiento que compre, y cuanto más grande sea el sistema, más tiempo estará allí. Los proveedores que usted elija deben moverse en la misma dirección que usted.

Ceguera de datos

Muchos sistemas de almacenamiento no son excelentes para administrar sistemas. El almacenamiento es un poco tonto, o mudo para una palabra mejor; la mayoría del almacenamiento no le informa sobre los datos que contiene o qué le están haciendo los clientes en este momento. Es posible obtener respuestas a esas preguntas por otros medios, pero todos ellos introducen complejidad.

  • El almacenamiento debe poder responderle preguntas: ¿qué está consumiendo todo este rendimiento? ¿Dónde diablos fue mi capacidad el domingo? ¿Qué está consumiendo mi capacidad en este momento? ¿Qué necesito para hacer una copia de seguridad? ¿Qué puedo archivar de forma segura? ¿Cuándo voy a necesitar más almacenamiento?
  • La mayoría de los proveedores de almacenamiento de gama alta ofrecen herramientas de visibilidad. En cualquier caso, el almacenamiento es lo mejor posicionado en su centro de datos para informarle cosas sobre sí mismo y las cosas que acceden a él.
  • Investigue herramientas de visualización: ¿responden a las preguntas que ha tenido recientemente al evaluar su solución actual?
  • Si valora la integración con su sistema de gestión, debe exigir acceso a la API. Si su proveedor de almacenamiento no le proporciona acceso, deberían hacerlo.

Disponibilidad de dolor

Cuando los datos no están disponibles, el trabajo se detiene. Hay una interrupción en el costo del trabajo y eso es más aún si tiene un gran equipo de personas creativas o técnicas que se bloquean por el almacenamiento no disponible.

Con un sistema monolítico, la disponibilidad puede ser peligrosa. A menudo, tendrá que comprar dos sistemas y luego agregar una capa de software que pueda mover una carga de trabajo entre ellos en caso de una falla. Deberá considerar detenidamente el costo de agregar redundancia a un sistema monolítico y asegurarse de que la póliza de seguro valga la pena.

Si su costo en el tiempo de inactividad es muy alto, podría valer la pena comprar dos sistemas solo por redundancia. Pero si el costo del tiempo de inactividad es flexible o bajo, es posible que no valga la pena agregar ese sistema, así que piénselo si está considerando su copia de seguridad.

Otra opción, una solución de compromiso, es buscar una solución con un contrato de servicio de gama alta, con SLA más grandes. Para un sistema de escalamiento horizontal, una falla de un solo nodo no desactiva todo el sistema, por lo que tiene algo de protección inherente en la arquitectura, pero aún podría tener un clúster inactivo debido a un problema de red. En cualquier caso, tendrá una copia de seguridad para la recuperación y la continuidad del negocio. Siempre hay un alto valor inherente en la compra de dos.

Dolor de perdida de datos

Me duele decirlo. Me estremezco incluso al decir las palabras "pérdida de datos". Para decir lo obvio, la protección de datos es muy importante. En esta industria, los datos son lo que realmente trabajamos y modificamos, por lo que los datos perdidos son tiempo perdido, dinero perdido, trabajos perdidos. Querrá ver sistemas que protejan sus datos realmente bien.

  • El rendimiento de la reconstrucción debería aumentar a medida que aumenta la población de unidades. Si baja, se está moviendo en la dirección equivocada. Necesita aumentar a medida que aumenta el número de unidades. Tiene que haber algún tipo de sistema de reconstrucción paralelo.
  • Manténgase en el nivel de protección mínimo posible: no salte a un nivel bajo con el objetivo de querer proteger todo; Te va a costar y aumentará el costo de escrituras aleatorias pequeñas.
  •  Hay algunos sistemas de objetos y de escalamiento que protegen los datos por archivo. Evita eso si puedes. Si tiene un pequeño recuento de archivos, puede que no sea un gran problema, pero a medida que aumenta el recuento de archivos, esa estrategia no tendrá éxito.

Aprenda más sobre cómo reducir los dolores de almacenamiento

Si desea más información sobre estos puntos de dolor, eche un vistazo a esto seminario web de una hora de Qumulo que proporciona una inmersión más profunda en los problemas comunes y las formas de mitigar los dolores de cabeza de los datos.

Contáctanos aquí si quieres programar una reunión o solicitar una demostración. Y suscríbase a nuestro blog para obtener mejores prácticas y recursos más útiles.

Artículos Relacionados

Ir al Inicio