Aceleración de los flujos de trabajo de datos de IA con la plataforma de datos en la nube Qumulo

Escrito por: 

Introducción

En la era de la inteligencia artificial (IA) y el aprendizaje automático (ML), procesar de manera eficiente cantidades masivas de datos no estructurados es una apuesta segura. Las empresas y los organismos gubernamentales aprovechan cada vez más la IA para obtener información, mejorar las operaciones e impulsar la innovación. Sin embargo, los desafíos de gestión de datos pueden obstaculizar las iniciativas de IA, especialmente en entornos híbridos y multicloud. La plataforma de datos en la nube de Qumulo aborda estos desafíos al brindar una solución perfecta y de alto rendimiento para la aceleración de datos de IA en la nube pública.

Descripción general de la plataforma de datos en la nube Qumulo

La plataforma de datos en la nube de Qumulo es una solución integral que unifica el almacenamiento y la gestión de datos en entornos locales y en la nube pública, privada e híbrida. Está compuesta por tres componentes principales:

  • Clústeres Qumulo locales: Se implementan en centros de datos, campus de investigación, hospitales y otras ubicaciones importantes, y alojan exabytes de datos de objetos y archivos no estructurados. Proporcionan almacenamiento de alto rendimiento optimizado para cargas de trabajo a gran escala en todos los puntos de la curva precio/rendimiento.
  • Instancias de Qumulo nativas de la nube: Implementadas en los principales proveedores de nube como AWS, Azure, Google Cloud Platform (GCP) y Oracle Cloud Infrastructure (OCI), estas instancias extienden las capacidades de Qumulo a la nube, lo que permite soluciones de almacenamiento de datos escalables y flexibles a tasas de rendimiento comparables a los sistemas de archivos paralelos, pero con una economía comparable a las ofertas de almacenamiento locales.
  • Tejido de datos global: Esta es la columna vertebral de los datos que integra las instancias locales y multicloud en un sistema cohesivo. Esto permite la adopción de cualquier modelo y/o servicio de IA para acceder a los mismos datos simultáneamente, independientemente de si las GPU están en las instalaciones o en la nube, según la disponibilidad y el precio. Ofrece:
    • Espacio de nombres global estrictamente consistente (GNS): Garantiza la coherencia de los datos en todas las ubicaciones.
    • Almacenamiento en caché GNS de lectura y escritura en Edge: Proporciona acceso de baja latencia a datos utilizados con frecuencia en el borde y en centros de datos geográficamente dispersos, nubes o una combinación de ambos.
    • Almacenamiento en caché de datos persistentes de lectura/escritura en clúster: Mejora el rendimiento al almacenar en caché los datos más cerca de los recursos computacionales y reduce los costos de transacción de la API S3/Blob/GCS.
    • Calidad de servicio consciente de la red y utilización eficiente de la red: Esta tecnología optimiza la transferencia de datos a través de redes de área amplia (WAN) en función de las condiciones de la red.

Aceleración de las cargas de trabajo de la IA

Movimiento inteligente de datos

La plataforma de datos en la nube Qumulo permite un movimiento de datos inteligente y eficiente en todo el tejido de datos global. Los datos se pueden transmitir a pedido a nivel de bloque desde cualquier ubicación y expresarse en clústeres de lectura/escritura basados ​​en la nube en toda la WAN. Estos clústeres utilizan almacenamiento S3 de bajo costo y alta durabilidad como capa de persistencia y almacenamiento en caché inteligente en un disco conectado a una instancia NVMe en EC2. De este modo, los datos están disponibles para alimentar instancias de GPU a velocidades que no pueden igualar las ofertas tradicionales de almacenamiento de archivos en la nube.

Mejoras de rendimiento

  • Tiempo de ejecución de GPU reducido: Qumulo mejora el tiempo de ejecución de la GPU hasta en un 40 % al acelerar la transferencia de datos desde el almacenamiento de archivos nativo de la nube con tecnología Qumulo al sistema de GPU alojado en la nube, lo que evita la fase de copia de datos de S3 a la GPU. Esta optimización soluciona el cuello de botella y los costos que suelen generarse al cargar datos desde almacenes de objetos o archivos al almacenamiento NVMe local en instancias de GPU antes de que comience la ejecución del entrenamiento.
  • Ahorro de costes en llamadas a la API de S3: La plataforma de datos en la nube emplea un almacenamiento en caché de lectura inteligente, predictivo y compacto basado en el aprendizaje automático, mientras comprime el caché de escritura, que combina las llamadas a la API de S3. Este enfoque reduce los cargos de la API de S3 hasta en un 90 %, lo que genera un ahorro de costos significativo.
  • Instancias de GPU optimizadas: Esta característica elimina la necesidad de que las instancias EC2 de GPU tengan almacenamiento NVMe local, lo que permite instancias de GPU de menor costo sin comprometer el rendimiento.

Inteligencia artificial basada en la nube para empresas

Muchas empresas y agencias gubernamentales no requieren clústeres de GPU de tiempo completo para cargas de trabajo de capacitación. La posición de Qumulo es que IA generativa (GenAI) Las cargas de trabajo (entrenamiento, ajuste e inferencia) se basarán principalmente en la nube para la mayoría de las organizaciones. Las ventajas incluyen:

  • Gobernanza de datos mantenida permite mantener los requisitos existentes de procedencia y gobernanza de datos, garantizando el cumplimiento y la seguridad de los datos, con un riesgo reducido.
  • Gasto de capital reducido elimina la necesidad de una inversión sustancial en la adquisición de GPU y reduce los costos de procesamiento en tiempo de ejecución.
  • Consumo elástico de recursos Proporciona la flexibilidad de aumentar o reducir la escala de los recursos en función de las demandas de la carga de trabajo, lo que optimiza los gastos operativos. Esto es de vital importancia porque el 80 % del desarrollo de IA implica procesar datos y refinar modelos antes de ejecutar el trabajo de entrenamiento.
  • Tiempo de procesamiento acelerado acelera los flujos de trabajo de IA hasta en 40%, mejorando la agilidad y el tiempo necesario para obtener información.

Aprovechamiento de los modelos GenAI públicos y comerciales

Qumulo reconoce que la mayoría de las empresas consumirán modelos GenAI públicos o comerciales en lugar de crear sus propios modelos. Para respaldar esto, Qumulo ha desarrollado lo siguiente:

  • Integración API robusta: La plataforma de datos en la nube de Qumulo ofrece API sólidas que pueden interactuar con servicios de IA basados ​​en la nube, incluidos modelos de lenguaje grandes (LLM) y herramientas de desarrollo de IA/ML disponibles en la actualidad de los principales proveedores de la nube como Microsoft y AWS.
  • Manejo seguro de datos: Aprovechar técnicas como Recuperación-Generación Aumentada (RAG) y con políticas adecuadas de gobernanza de datos, las empresas pueden utilizar LLM públicos o abiertos y al mismo tiempo garantizar que sus datos no se utilicen en futuros conjuntos de datos de capacitación, manteniendo así la privacidad de los datos y la protección de la propiedad intelectual.

Conclusión

La plataforma de datos en la nube de Qumulo ofrece una solución sólida para acelerar los flujos de trabajo de datos de IA en la nube pública. Al unificar los entornos locales y en la nube a través de su Global Data Fabric, Qumulo aborda los desafíos de la gestión y el movimiento de datos a escala. Las empresas pueden lograr importantes mejoras de rendimiento y reducciones de costos y mantener el cumplimiento de los estándares de gobernanza de datos. Además, al facilitar la integración con los modelos públicos de GenAI y al mismo tiempo proteger los datos, Qumulo permite a las organizaciones aprovechar las tecnologías de IA de manera eficaz sin comprometer la seguridad ni incurrir en gastos innecesarios.

Beneficios Clave

  • Flexible: Aborda las necesidades de rendimiento, capacidad y seguridad de todo el ciclo de vida de los datos de IA (ingesta de datos, transformación de datos y carga de datos), lo que permite una canalización de datos fluida de extremo a extremo.
  • Actuación: Los tiempos de carga de datos más rápidos mejoran el tiempo de ejecución y la economía de la GPU.
  • Sin límites: Permite un acceso seguro y sin inconvenientes a los datos entre nubes públicas y privadas y entre organizaciones para posibilitar oportunidades de investigación y negocios transformadores.
  • Eficiencia de costo: Reducción de hasta el 90 % en los cargos de la API S3; permite la utilización de instancias de GPU de menor costo sin NVMe local.
  • Escalabilidad: Consumo elástico de recursos de la GPU
  • Dato de governancia: Mantiene la procedencia de los datos existentes y los requisitos de cumplimiento.
  • Durabilidad de los datos: La compatibilidad con múltiples AZ y la codificación de borrado S3 paralela mejoran aún más la legendaria durabilidad de AWS S3
  • Seguridad: Evita que los datos empresariales se utilicen en el entrenamiento de modelos externos mediante integraciones API seguras.

Al adoptar la plataforma de datos en la nube de Qumulo, las organizaciones cuentan con las herramientas necesarias para gestionar las demandas de las cargas de trabajo de IA modernas de forma eficiente y segura. Esto les permite posicionarse a la vanguardia de la innovación en IA, lo que les permite ofrecer una ventaja competitiva y generar oportunidades comerciales transformadoras.

0 0 votos
Valoración del artículo
Suscríbete
Notificarme sobre
invitado
0 Comentarios
Más antiguo
Más Nuevos Más votados
Comentarios en línea
Ver todos los comentarios

Artículos Relacionados

0
Me encantaría tus pensamientos, por favor comenta.x
Ir al Inicio