¿Cómo puedo presupuestar una estrategia de datos de alto rendimiento? apareció originalmente en Quora, el lugar para obtener y compartir conocimientos, capacitando a las personas para aprender de los demás y comprender mejor el mundo.
Bienvenidos a nuestro primer Qumulo en Quora resumen de ideas!
La Expertos de Quora en el espacio tecnológico es un lugar donde los líderes de opinión en el campo de la tecnología colaboran para responder a sus preguntas más urgentes. En octubre de 2021, Quora le dio la bienvenida a Ben Gitenstein, vicepresidente de gestión de productos de Qumulo, como uno de los expertos en tecnología más nuevos de Quora para unirse a la comunidad de líderes de opinión que comparten sus conocimientos, experiencias, pasos prácticos y consejos. ¡Y está ansioso por responder a sus preguntas más urgentes!
Qumulo en Quora
Hoy estamos lanzando una nueva serie de carreras en nuestro blog: Qumulo en Quora — en el que compartiremos las ideas de Ben con algunos pasos prácticos y análisis adicionales para ayudar a nuestros lectores a tener éxito en sus propios viajes tecnológicos.
Nuestra primera historia cubre una pregunta que Ben respondió sobre cómo presupuestar una estrategia de datos de alto rendimiento. Vamos a profundizar en su respuesta con algunas ideas y análisis adicionales.
Sin embargo, antes de llegar a la respuesta a esta pregunta, es importante que nuestros lectores entiendan que el control de costos debe comenzar con un presupuesto de almacenamiento de datos basado en gastos predecibles, y eso puede ser difícil sin una arquitectura de datos eficiente. Analicemos esto más a fondo.
La eficiencia del almacenamiento debe integrarse en la arquitectura de datos central
La eficiencia del almacenamiento no puede ser atornillado a su sistema de archivos, en su lugar, debe ser incorporado en la arquitectura de software central para permitir el almacenamiento de archivos grandes y pequeños. Por ejemplo, el sistema de archivos de Qumulo admite una capacidad de almacenamiento muy grande con una sobrecarga computacional baja y una capacidad utilizable del 100 %.
Estos atributos de almacenamiento eficiente comprenden un Alto rendimiento sistema que consume menos energía, lo que resulta en un ahorro de energía. Avanzado, software sostenible–mayor rendimiento con menor consumo de energía– comienza con una arquitectura de software eficiente que almacena más en menos espacio.
El papel de la densidad de almacenamiento en la eficiencia a escala
La densidad de almacenamiento juega un papel importante en la eficiencia a escala. de qumulo definido por software El enfoque para el almacenamiento de datos en archivos permite flexibilidad de hardware y es compatible con los medios más densos de fabricantes y OEM tan pronto como estén disponibles.
Qumulo Core presenta la capacidad de escalar dinámicamente, por lo que puede agregar nuevos tipos de nodos a los clústeres existentes para aprovechar una mayor densidad. Por ejemplo:
- Los nodos más densos ofrecen más capacidad en el mismo (o a menudo más pequeño) sobre de energía, lo que genera eficiencia y ahorro de energía.
- Las proporciones generosas de DRAM y SSD/HDD en los híbridos reducen aún más el consumo de energía a través del almacenamiento en caché inteligente de aprendizaje automático (ML)
“En última instancia, todo se redujo a la consolidación”, dijo Jim Mercurio, vicepresidente ejecutivo y gerente general del Levi's Stadium, de los 49ers. “Estábamos rodando alrededor de 44 TB por día. Fue simplemente torpe. […] Qumulo nos permitió consolidar todo y simplificó mucho las cosas.
¿Cómo puedo presupuestar una estrategia de datos de alto rendimiento?
Cuando las empresas administran cantidades masivas de datos no estructurados con demandas de alto rendimiento, uno de los mayores desafíos para la mayoría de las organizaciones modernas es lo fácil que puede ser acumular una factura. Los datos continúan creciendo, pero, en términos generales, su presupuesto no crece con ellos. “Es posible que caiga en la trampa de pagar de más por un proveedor y, lo que es peor, podría quedar atrapado en ese proveedor durante años”, señaló Ben en Quora.
¿Su consejo? Ben sugirió lo siguiente:
Puede reducir los costos mediante la creación de una estrategia que optimice la eficiencia y agilice sus prácticas de datos. Esto requiere romper los silos de datos y consolidarlos en una única plataforma de datos para que todos los científicos, investigadores, desarrolladores y artistas tengan acceso a los datos que necesitan para crear productos y responder preguntas. Desde el punto de vista del almacenamiento, eso significa que debe buscar productos que puedan crear espacios de nombres escalables masivamente sin límite en la capacidad o el rendimiento que pueden ofrecer, y un único modelo de identidad convergente para que sus usuarios puedan acceder a cualquier información independientemente de las aplicaciones del cliente. que se usaron para escribirlo.
Por último, asegúrese de usar analítica en tiempo real para ayudar a comprender dónde su organización está utilizando el ancho de banda y para monitorear el rendimiento de su infraestructura tanto en capacidad como en rendimiento. No puedes presupuestar si no tienes visibilidad.
Al final del día, las soluciones más rentables deberían permitirle escalar sus cargas de trabajo a miles de millones de archivos, grandes y pequeños, sin cobrarle de más por la funcionalidad que no está utilizando.
Historia relacionada: Qué considerar al evaluar las soluciones de almacenamiento de datos empresariales
Ahora, echemos un vistazo a su respuesta con algunas ideas y análisis adicionales, comenzando por equilibrar el presupuesto de su estrategia de datos para más que la capacidad de almacenamiento.
Presupuesto para más de capacidad de almacenamiento
El presupuesto de su estrategia de datos debe abarcar el costo de la mano de obra para administrar y ejecutar sus cargas de trabajo de datos hasta el costo de la capacidad y el mantenimiento del hardware para almacenarlo. Sin embargo, no pase por alto los dólares por todo, dólares por IOPS, el costo inicial o la deuda técnica que se acumula con un centro de datos en constante expansión.
Para conocer las estrategias para administrar el presupuesto de almacenamiento de datos como parte de su estrategia de datos de alto rendimiento, lea: Cómo resolver los problemas de almacenamiento del software heredado, la disponibilidad y el presupuesto.
Optimice sus recursos informáticos con una arquitectura de sistema de archivos de nube híbrida
Una nube híbrida arquitectura del sistema de archivos lo ayuda a reducir los costos mencionados anteriormente de la "expansión" del centro de datos mientras aprovecha las eficiencias de escala de la nube para cargas de trabajo de alto rendimiento. Si bien tiene sentido ejecutar algunas cargas de trabajo en las instalaciones, otras requieren la capacidad de la nube. Las empresas pueden expandirse a la nube o simplemente mover un subconjunto de sus datos allí para aprovechar los servicios, las aplicaciones y el almacenamiento nativos de la nube.
“Nuestro equipo ha sido capaz de mantener un escalado de ráfagas a una tasa de 1.3 millones de IOPS durante más de 5 horas seguidas, con picos de hasta 2 millones de IOPS”, dijo Jeremy Brousseau, director de TI, Sitio de cine Vancouver. “Este es un nivel sin precedentes en el pasado, y destaca cuánto nos ha ayudado Qumulo a condensar nuestros cronogramas de producción cuando es necesario y permite a los artistas tener más iteraciones en menos tiempo, lo que en general da como resultado un trabajo final de mayor calidad”.
Un mejor intercambio de recursos a través de la computación en la nube puede ayudarlo a reducir los gastos y funcionar de manera más eficiente. Además de agilizar costes, te ayudará a reducir tu huella de carbono. para apoyar un estrategia de nube híbrida sus datos deben almacenarse en un único espacio de nombres con acceso a archivos multiprotocolo desde la infraestructura local y en nubes públicas. Esto permite que diferentes grupos de usuarios colaboren en los mismos conjuntos de datos, ya sea que utilicen aplicaciones Linux, Windows o Mac.
El sistema de archivos de Qumulo se creó para entornos de nube híbrida para ayudar a reducir los costos de compra y mantenimiento de hardware en su propio centro de datos, al tiempo que le permite:
- Migra a la nube sin necesidad de hacerlo aplicaciones de refactorización o flujos de trabajo
- Movilizar datos hacia y desde Amazon S3 utilizando servicios de datos integrados que vienen de serie en la plataforma de datos de archivos Qumulo Core
- Cargas de trabajo en la nube del tamaño adecuado para un alto rendimiento con la capacidad de agregar capacidad de almacenamiento si es necesario, en lugar de aprovisionamiento para picos
- Uso Qumulo en Azure como un SaaS totalmente administrado para controlar los gastos y pagar solo por lo que usa
Controle el acceso y el uso de datos en tiempo real a través de la visualización de datos
La capacidad de presupuestar de manera efectiva depende de saber qué sucede con sus datos, de modo que pueda administrarlos y controlarlos de manera proactiva. Por ejemplo, la visualización de datos de análisis en tiempo real lo ayuda a comprender dónde está utilizando el ancho de banda para evitar cuellos de botella y desbordamientos. Le permite monitorear la capacidad y el rendimiento de su infraestructura para detectar tendencias y ajustarlas en consecuencia.
La visualización de datos es particularmente útil cuando se ejecuta en la nube. por ejemplo, en el en la nube o en las instalaciones, el panel de análisis en tiempo real de Qumulo le permite ver cuántos clientes están conectados, quién usa más ancho de banda y dónde está creciendo rápidamente el sistema.
Obtenga un mayor rendimiento del hardware a través de la optimización del software
Volviendo al principio original de que la eficiencia debe estar "incorporada" en lugar de "agregada", Qumulo Core el software está optimizado para reducir el sobreaprovisionamiento innecesario. Para ofrecer más rendimiento dentro de la misma envolvente de energía, nuestro software lee grandes fragmentos de HDD y pequeños fragmentos de SSD (e incluso más pequeños de RAM). Estar definido por software (no depender de las ventas de hardware) significa que nuestros clientes aprovechan al máximo los ciclos de vida de sus activos fijos con el 100 % de los modelos de hardware aún admitidos.
Únase a la discusión con líderes de opinión en tecnología
Pásate por el Expertos de Quora en el espacio tecnológico donde puede unirse a su propia discusión reflexiva, hacer preguntas y leer más de las respuestas expertas de Ben Gitenstein sobre las tendencias de la estrategia de datos y las fuerzas dinámicas que dan forma a la industria de gestión y almacenamiento de datos en la actualidad.
Y, por supuesto, esté atento a nuestro próximo Qumulo en Quora ¡redondeo!
