El mercado de la computación de alto rendimiento (HPC) es quizás el sector de más rápido crecimiento en el mundo de TI en la actualidad. Investigación Hyperion pronostica que el mercado total de HPC alcanzará $ 44B por 2023, con inversiones relacionadas con el almacenamiento que representan $ 7.8B de eso.
Tres puntos clave de la investigación de Hyperion son:
- Los sistemas de almacenamiento serán cada vez más críticos;
- La computación en la nube para cargas de trabajo HPC crecerá rápidamente;
- La inteligencia artificial (IA) crecerá más rápido que todo lo demás.
La inteligencia artificial (IA) está creciendo rápidamente
Como se mencionó anteriormente, la IA está creciendo rápidamente. Basado en un informe de Grand View Research, el mercado de la Inteligencia Artificial crecerá a una tasa compuesta anual del 57.2 % entre 2017 y 2025 (alcanzando los 35.8 XNUMX millones de dólares). La firma analista dice:
"Se considera que la inteligencia artificial (IA) es el próximo gran desarrollo tecnológico, al igual que los desarrollos anteriores, como la revolución de las industrias, la era de las computadoras y el surgimiento de la tecnología de los teléfonos inteligentes". Grand View también señala que se espera que América del Norte, en particular, domine las implementaciones de IA debido a "la disponibilidad de una gran cantidad de fondos gubernamentales, la presencia de actores líderes y una sólida base tecnológica".
El mercado de HPC cubre muchas áreas de investigación, incluyendo ciencias de la vida y medicina, investigación climática, detección de terremotos y tectónica, conducción automatizada, física y astrofísica, agricultura y energía.
El mejor soluciones de almacenamiento de datos empresariales Los datos no estructurados son sistemas de archivos distribuidos que tienen la capacidad de procesar grandes cantidades de datos para cargas de trabajo de HPC, que a menudo consisten en cientos de millones o miles de millones de puntos de datos de tamaño pequeño, para extrapolar información de investigación clave. Además, las innovaciones de Internet de las cosas (IoT) están ayudando a capturar estos puntos de datos a niveles récord. Los sensores en uso hoy en día abarcan una amplia gama de dispositivos electrónicos, desde vehículos autónomos y las ciudades inteligentes, la fabricación industrial y la cadena de suministro, están transmitiendo cantidades masivas de datos en tiempo real a sistemas centralizados para su análisis.
Con el crecimiento continuo de tecnologías como la IA, el aprendizaje automático (ML) y las imágenes en 3D, el tamaño y la cantidad de datos que las organizaciones tienen que administrar y almacenar seguirán aumentando a niveles de escala de petabytes (y más allá).
Al desarrollar su NAS de escalamiento horizontal de próxima generación, Qumulo tenía varios objetivos clave en mente para cumplir con los requisitos específicos de HPC
Los sistemas de almacenamiento se están volviendo más críticos, ya que las organizaciones deben seguir el ritmo del rápido crecimiento y expansión de los datos escalando fácilmente, sin interrupciones, cuando y donde sea necesario. Sistema de archivos distribuidos de Qumulo — Qumulo Core — aprovecha una arquitectura basada en nodos, que permite a las organizaciones escalar tanto el rendimiento como la capacidad, y en entornos locales y en la nube. La arquitectura de almacenamiento definida por software de Qumulo utiliza clústeres de nodos compuestos por hardware de Qumulo o hardware estándar de la industria precalificado de HPE or Fujitsu, que brinda varias opciones de plataforma, que incluyen todo NVMe, archivo activo y nube, y más.
En un entorno de HPC donde la entrega de análisis y resultados críticos es primordial, las cargas de trabajo de HPC dependen increíblemente de su sistema de almacenamiento.
Para cumplir con los requisitos de rendimiento de las cargas de trabajo HPC, la plataforma totalmente NVMe de Qumulo ofrece IOPS líderes en la industria con una latencia extremadamente baja, lo que es particularmente valioso en entornos HPC. La latencia es tan importante como los IOP para los entornos HPC, de modo que el sistema puede procesar rápidamente una gran cantidad de transacciones.
El sistema de archivos de Qumulo fue diseñado para manejar archivos pequeños tan eficientemente como archivos grandes. Esto elimina las limitaciones de tamaño de "Bloque" aplicadas con otros soluciones NAS de escalamiento horizontal. Para mejorar el rendimiento, muchos sistemas de archivos usan tamaños de bloque más grandes, lo cual está bien para archivos grandes, pero es muy ineficiente para archivos pequeños, ya que cada bloque solo puede contener un archivo. Esto conduce potencialmente a un gran desperdicio de capacidad... ¡no es un problema para Qumulo!
Como se indicó anteriormente, opciones para la computación en la nube son cada vez más importantes Debido al tamaño cada vez mayor de los conjuntos de datos y la naturaleza intensiva en cómputo de AI y ML, las organizaciones están aprovechando la nube. Mediante el uso de la plataforma única de Qumulo, las organizaciones pueden escalar sin problemas las cargas de trabajo, según sea necesario, a los entornos de nube de AWS o GCP, para el procesamiento del rendimiento informático, la colaboración mejorada y el almacenamiento de datos.
La importancia de la protección de datos en entornos HPC
La protección de datos y la disponibilidad también son importantes en esta industria. Qumulo ofrece protección de datos líder en la industria utilizando codificación de borrado. Los datos se distribuyen de manera eficiente en varios nodos para protegerlos contra fallas en las unidades. En caso de falla de la unidad, a diferencia de las soluciones RAID tradicionales, el rendimiento no se ve afectado durante las reconstrucciones. Codificación de borrado también requiere menos capacidad (normalmente un 33% menos de espacio) para la resistencia que RAID.
Además, el software de Qumulo incluye análisis en tiempo real para eliminar la ceguera de datos, proporcionando visibilidad instantánea a través de miles de millones de archivos. Con esta valiosa tecnología, las organizaciones obtienen el control, con información en tiempo real sobre todo el sistema de almacenamiento, lo que les permite predecir tendencias de uso y capacidad, y administrar de manera más proactiva los requisitos de almacenamiento actuales y futuros.
El software del sistema de archivos distribuidos de Qumulo se ha diseñado desde cero para cumplir con los requisitos actuales de escala, ofreciendo el sistema de almacenamiento de archivos de mayor rendimiento para centros de datos y la nube pública.
Los datos han cambiado. Entonces, ¿por qué seguir utilizando la tecnología de almacenamiento que se diseñó hace veinte años, cuando hoy en día existe una tecnología moderna de almacenamiento de archivos que está idealmente diseñada para los exigentes requisitos de HPC? Qumulo es el único NAS de escalamiento horizontal basado en archivos diseñado para ofrecer capacidades sólidas en las instalaciones y en la nube, y la forma radicalmente simple de administrar datos no estructurados en cualquier entorno.
Current Clientes de Qumulo en la industria de HPC, muchas de las cuales operan en los sectores de ciencias biológicas e investigación científica, incluyen: Laboratorio Nacional de Energías Renovables (NREL), Carnegie Institution for Science, CID Research, Channing Division of Network Medicine en Brigham and Women's Hospital, DarwinHealth, Inc., Georgia Cancer Center en Augusta University, Institute for Health Metrics and Evaluation (IHME) en la Universidad de Washington, Johns Hopkins Genomics en The Johns Hopkins University, Progenity, Inc., UConn Health, University of Utah Scientific Computing and Imaging Institute (SCI) ... y muchos otros que están usando Qumulo para acelerar sus flujos de trabajo intensivos en datos y acelerar el descubrimiento de nuevos avances científicos y médicos.
