Los desafíos de datos de ADAS van mucho más allá de la capacidad. El moderno sistema de archivos de Qumulo aborda estos desafíos con un NAS escalable y un enfoque de nube híbrida.
El desarrollo de tecnologías para la conducción autónoma es actualmente el tema más candente en la industria automotriz. Se están gastando miles de millones de dólares y euros para desarrollar una nueva generación de sensores y tecnologías que recopilan, procesan, correlacionan y analizan datos de sensores de diferentes tipos.
Sistemas de conducción autónoma recientes mostrado en CES 2019 están equipados con cuatro LIDAR de onda corta, cinco LIDAR de onda larga, seis radares de exploración electrónica (ESR), cuatro radares de corto alcance, una cámara trifocal, una cámara de semáforo y otros sensores. Incluso sin sensores LIDAR, un vehículo de prueba típico con video actual y sensores RADAR produce hasta 30 TB de datos sin procesar por día. Esto causa desafíos para la infraestructura típica del centro de datos debido a la increíble cantidad de datos. Teniendo en cuenta una flota de autos de prueba 10, que operan aproximadamente 200 días al año, la cantidad de datos de 60 PB que se generan deben almacenarse, procesarse y administrarse.
Los sistemas de archivos escalables como la solución de almacenamiento ADAS de Qumulo pueden ayudar a abordar estos desafíos con un sistema de archivos muy moderno que escala a muchos petabytes. Corre en plataformas de hardware estándar x64 de diferentes proveedores y en la nube, es muy fácil de administrar y se puede integrar en cualquier entorno de automatización debido a su completa Funcionalidad API.
Los desafíos de la capacidad de almacenamiento requieren un NAS de escalamiento horizontal
Además de los enormes volúmenes de capacidad que requieren modernas soluciones NAS de escalamiento horizontal, hay desafíos adicionales a considerar. Por ejemplo:
- La ingesta de datos es global. Debido a la cantidad de datos que se recopilan en los vehículos de prueba, no se pueden cargar en línea al centro de datos de una empresa. En su lugar, los datos deben cargarse en el sistema de almacenamiento localmente cuando el automóvil está "en casa". Normalmente, los automóviles de prueba en todas las regiones del mundo, lo que significa que los datos se ingerirán en un sistema central de todas partes del mundo.
- El acceso a los datos es global. Hay varios pasos en el procesamiento de datos que también ocurren desde varias regiones. Por ejemplo, la anotación de datos es, en gran medida, un proceso manual. Personas de todo el mundo están haciendo esto; al menos la parte de los datos que se utilizan como datos de entrenamiento para algoritmos de ML debe ser anotada o validada por los humanos.
- El acceso a los datos debe ser rápido. Varios pasos del proceso requieren acceso de baja latencia a datos como el procesamiento de video, el reconocimiento de objetos y el aprendizaje automático.
- Acceso de alto ancho de banda. Las pruebas HIL (hardware in the loop) y SIL (software in the loop) requieren un rendimiento muy alto. Por lo general, muchos flujos se leen en paralelo para reducir los tiempos de simulación. Considere, por ejemplo, que 80 flujos paralelos de datos de video con 400 MB/s por flujo requieren un rendimiento de 32 GB/s del sistema de almacenamiento.
Estos requisitos son contradictorios hasta cierto punto. Si bien para la ingesta y el acceso globales, el almacenamiento de objetos en la nube parece ser la solución ideal, el acceso al ancho de banda alto y rápido son atributos proporcionados por el almacenamiento del sistema de archivos local. Y mientras que las simulaciones de SIL pueden ejecutarse completamente en la nube, HIL requiere que los dispositivos físicos y las pruebas (como las cámaras de video, los sensores LIDAR y RADAR, por ejemplo) estén presentes en la validación. Estos dispositivos no pueden ser "colocados" en la nube, obviamente, y necesitan acceder a datos locales con un alto rendimiento. Al mismo tiempo, las aplicaciones HIL y SIL normalmente requieren un sistema de archivos para el acceso a los datos.
Por ese motivo, he visto empresas que ejecutan un enfoque híbrido en el que los datos se recopilan y procesan previamente en centros de datos locales y luego se cargan en la nube, donde se almacenan e indexan de forma centralizada (consulte la Figura 1).
Hay algunas desventajas con este enfoque. El almacenamiento de archivos local generalmente crece históricamente y no está diseñado para manejar el volumen de datos, ni es adecuado para intercambiar datos con la nube. Las API para la administración no existen o son completamente diferentes a las instancias de la nube.
Cómo Qumulo aborda los desafíos de datos ADAS
Qumulo es el sistema de archivos más moderno del mercado. Puede generar muchos nodos, puede ser implementado en varias plataformas de hardware, y también puede ejecutarse en la nube. La administración del sistema, las API y los protocolos de acceso son 100 % similares en las instalaciones y en la nube. Qumulo proporciona Terraform y scripts de CloudFormation (AWS) para que un clúster de sistema de archivos escalable en la nube se pueda implementar en minutos. Vea en nuestro video a continuación cómo Qumulo brinda opciones y flexibilidad de implementación:
Qumulo también proporciona todas las características empresariales en la nube que los usuarios esperan de los sistemas modernos: multiprotocolo acceso (NFS, SMB, FTP, HTTP), multi-sitio replicación, instantáneas, cuotas, capacidades analíticas Para monitoreo y planificación, y otros. La Figura 2 ilustra dicha implementación híbrida para el desarrollo de ADAS y la simulación HIL / SIL en una Entorno AWS.
Al implementar una solución híbrida de este tipo con Qumulo, las fronteras entre los sistemas de archivos locales y la nube están disminuyendo. Los requisitos contradictorios mencionados anteriormente se pueden satisfacer mucho más fácilmente:
- Los archivos se pueden ingerir desde cualquier lugar a un sistema de archivos Qumulo local
- Los archivos se pueden replicar entre centros de datos e instancias de la nube
- Las simulaciones HIL pueden ejecutarse localmente con baja latencia y alto ancho de banda
- Las simulaciones SIL pueden ejecutarse en las instalaciones o en la nube (usando instancias de computación en la nube)
- El almacenamiento de Qumulo se puede girar en la nube en minutos. Esto lo hace perfectamente adecuado para ejecutar cargas de trabajo temporales, como la capacitación para el aprendizaje automático o las simulaciones SIL.
- Los datos pueden ser escalonados desde clústeres de Qumulo (locales o en la nube) hasta Cubos S3
- El sistema de catálogo Media Asset Management puede acceder a Qumulo mediante API enriquecidas para la administración y la automatización de un acceso uniforme a los datos.
- La gestión de una instancia de Qumulo es similar en las instalaciones y en la nube. Esto reduce los costos de administración en comparación con escenarios donde diferentes soluciones de almacenamiento de datos empresariales se implementan en las instalaciones o en la nube.
- Los sistemas de archivos de Qumulo crecen a pedido, ya sea que agregue un nodo físico local u otra instancia de proceso en la nube. En ambos casos, la capacidad y el rendimiento aumentan linealmente.
- Las funciones de almacenamiento de datos empresariales son similares en la nube y en las instalaciones
- Las aplicaciones no necesitan ser reescritas cuando se ejecutan en la nube porque Qumulo proporciona el mismo acceso multiprotocolo en ambos entornos.
Más información
Los clientes de Qumulo como Hyundai MOBIS aprovechan Qumulo para el análisis de cientos de terabytes de datos de video de sensores de vehículos utilizados para diseñar y construir automóviles autónomos y asistidos. El clúster de Qumulo puede absorber el flujo constante de datos generados por máquinas sin una gestión constante, lo que supone un enorme beneficio para la productividad. Para ver cómo empresas automotrices como Hyundai utilizan el almacenamiento de archivos en la nube híbrida de Qumulo para el desarrollo de ADAS, lea nuestro caso de estudio de Hyundai Mobis.
