Estás inmerso en la planificación de tu próxima solución de IA/ML. ¿Ha tomado una decisión sobre todas sus decisiones relacionadas con el almacenamiento? ¿Lo local versus la nube? ¿Objeto versus archivo? ¿Dónde ejecutará sus soluciones de IA/ML?
Por cierto, antes de empezar, tengo que desahogarme algo. Odio el término inteligencia artificial. En serio, ¡la IA es menos inteligente que el pomo de una puerta! Son solo matemáticas, estadísticas con volúmenes simplemente descomunales de datos ejecutados, cada hora, en más unidades de procesamiento de las que existían en todo el mundo hace apenas unas décadas.
Aquí hay un gran artículo sobre ¿Qué está sucediendo REALMENTE detrás de escena en ChatGPT?. Odio tanto el término IA que usaré ML para esta publicación.
Bien, fuera de mi tribuna. Hablemos de por qué el almacenamiento es tan importante para la IA; me refiero al ML...
El aprendizaje automático tiene que ver con los datos. ¡Sólo tienes que encontrarlo!
Los datos que impulsan las cargas de trabajo de ML son en todas partes. También lo es la necesidad de soluciones de aprendizaje automático. Algunos ejemplos (todos derivados de los flujos de trabajo del mundo real de nuestros clientes):
- Suerte. Las cámaras ubicadas en todas partes capturan todo tipo de información en operaciones de fabricación automatizadas en tiempo real. Todo esto se agrega continuamente en el almacenamiento local.
Los datos de cada línea de fabricación están centralizados (en la nube o en las instalaciones) y se convierten en la fuente de modelos de capacitación para automatizar la detección de fallas. Soluciones de ML en cada fábrica, luego los modelos de inferencia resultantes para mejorar los rendimientos.
Por cierto, ¡tenemos clientes que aprovechan Qumulo en este flujo de trabajo exacto!
- Vehículos autónomos. Se capturan continuamente vídeos de alta definición y multiespectro del mundo real, inicialmente por cientos de vehículos de prueba, luego por miles de vehículos experimentales y, finalmente, por millones de vehículos normales.
El coche envía estos vídeos a la nave nodriza a través de tu Wi-Fi (¡Tesla, te estoy mirando!). Los datos anteriores son la fuente para entrenar los modelos para ayudar a los conductores, habilitar el piloto automático y hacer realidad los vehículos autónomos.
Los modelos de inferencia derivados de lo anterior se ejecutan mediante motores de inferencia en los automóviles para procesar datos en tiempo real.
Y sí, ¡también tenemos clientes que utilizan Qumulo en este flujo de trabajo!
- Seguridad asistida por ML: Cientos de miles de dispositivos de red generan registros de actividad que se consolidan localmente y se agregan (ya sea en la nube, localmente o ambos). Esto forma el conjunto de datos de entrenamiento para que los modelos detecten intrusiones no autorizadas en la red.
Los dispositivos de red modernos utilizan estos modelos de inferencia para analizar eventos observados en tiempo real, buscando detectar intrusiones no autorizadas.
Lo has adivinado, ¡tenemos clientes que hacen esto hoy!
¿Puedes detectar el hilo conductor? Se trata de un flujo de trabajo “en todas partes”, desde el borde de la red, hasta el núcleo y en las nubes públicas.
Elecciones, Elecciones, Elecciones
¿Qué pasa con la solución ML? Usted están trabajando? Como lo hicieron estos casos de uso, tendrá que tomar una serie de decisiones importantes sobre dónde y cómo construir sus modelos. Dejame explicar …
- ¿Borde, núcleo o nube? ¿Dónde vivirán tus datos? ¿Dónde vivirá la modelo? ¿Dónde vivirá la solución? La gente de la nube insiste en que es (y siempre estará) la nube. Y sí, son parciales, pero también tienen un buen argumento.
Después de todo, ¿qué organización puede mantenerse al día con la infraestructura necesaria para poner en funcionamiento los LLM de capacitación cuando prácticamente todo el conjunto cambia semanalmente? He hablado con muchas organizaciones que dicen que el aprendizaje automático fue la última gota con respecto a su debate interno entre la nube y las instalaciones.
Pero antes de decir “se acabó el juego”, he aquí una tendencia interesante. Hablo con muchos clientes que gastan cientos de millones de dólares cada cuarto en la nube y que están repatriando sus cargas de trabajo de estado estable a las instalaciones. ¿Por qué? Sienten que por un un estudiante adulto La solución de aprendizaje automático local proporciona una solución más estable y rentable.
En otras palabras, la experimentación rápida y la puesta en funcionamiento temprana se encuentran en la nube, mientras que las soluciones de aprendizaje automático maduras disfrutan de más estabilidad y mejor economía en los centros de datos propios y operados. Pero esa es sólo una opción...
- ¿Objeto versus archivo? Antes de responder, considere esto. La nube maneja extremadamente bien el almacenamiento de objetos, pero consume datos de archivos. Y el sistema local maneja muy bien los datos de los archivos, pero es una mierda en el objeto. Y acabamos de comentar que probablemente necesitará tanto la nube como las instalaciones. ¿Cuál es mejor para ML? Bueno es Complicado.
Por un lado, la mayoría de los LLM son de código abierto y esperan acceder a los datos a través de una interfaz de almacenamiento local. Eso es un problema para la nube, donde debe crear cargadores de datos personalizados que copie los datos del objeto al disco local (instancia NVMe adjunta o EBS/discos administrados) antes de que se puedan alimentar esas GPU que consumen muchos datos. Mira lo que Google GCP dice sobre esto:
"Pero cuando llega el momento de que una carga de trabajo de IA acceda realmente a los datos [de IA], no siempre es sencillo, ya que la mayoría de las cargas de trabajo de IA requieren la semántica del sistema de archivos, en lugar de la semántica de objetos que proporciona Cloud Storage".
¿Qué hacer?
¡Muchas preguntas! ¿En las instalaciones o en la nube para sus cargas de trabajo de IA/ML? ¿Archivo u objeto como depósito de datos que impulsa su LLM? ¿Cómo agregará datos de varias ubicaciones y los gestionará durante todo el ciclo de vida? Las decisiones que tome afectan qué solución de almacenamiento es mejor para usted: Dell, VAST, NetApp.
O … ellos?
Presentamos Scale Anywhere™ de Qumulo, una solución de gestión y almacenamiento de datos no estructurados 100 % basada en software. ¿Necesita una solución central de centro de datos? ¿Nube pública? Controlar. ¿Archivo? Controlar. ¿Objeto? Controlar. Tome las decisiones de ML que desee; simplemente no me importa. Qumulo corre dondequiera que nos necesites.
Tenemos clientes que abarcan múltiples plataformas de hardware de servidores de almacenamiento locales y múltiples nubes públicas. Lo bueno es que sus cargas de trabajo de datos no estructurados basadas en Qumulo están unificadas entre ellos.
Estoy frente a los clientes todo el tiempo y recibo muchos comentarios positivos al respecto. Esto es algo nuevo para mí en comparación con otras empresas en las que he trabajado, ¡pero me acostumbré rápidamente!
Tome las decisiones de aprendizaje automático con calma con Scale Anywhere™ de Qumulo.
La implementación del ML requiere muchas decisiones difíciles. Pero qué plataforma de almacenamiento utilizar no es una de ellas. Pruebe Scale Anywhere™ con Qumulo y podrá administrar todas sus cargas de trabajo de ML independientemente de las decisiones que tome...
- Borde, núcleo o nube
- Archivo u objeto
- Para la recopilación, agregación y curación de datos de entrenamiento
- O... para permitirle llevar sus modelos de inferencia a su borde distribuido
Qumulo es su opción de aprendizaje automático más sencilla.
