La estandarización de formatos en los entornos «Lakehouse» redefine los saldos de la nube de datos, donde la apertura se convierte en un requisito estratégico. Al integrar Apache Iceberg en el corazón de su plataforma, Snowflake fortalece un modelo de interoperabilidad sin negar su rendimiento, seguridad y garantías de gobernanza.
Ha habido una guerra de formatos durante varios años en torno a los lagos de datos. Y esto está en el corazón de la batalla que se comprometen dos competidores emblemáticos del universo de datos moderno: copo de nieve y Databricks. Pero en una nube nativa de gestión de datos, estos dos actores también deben enfrentar a gigantes como Microsoft (con Synapse / MS Fabric), Teradata (con Vantage) y Google (con BigQuery / Biglake). Una competencia que lleva a los CIO ahora buscó la apertura principalmente para evitar «bloqueos».
Recuerde que la aparición de nubes de datos ha provocado una competencia estratégica en torno a los formatos de datos en el mundo de los casos de lago, estos almacenes de datos de nueva generación que dependen de los lagos de datos. El problema fundamental es la separación neta entre el almacenamiento de datos y las capacidades de cálculo necesarias para su procesamiento, lo que garantiza a las empresas una soberanía real sobre sus datos mantenidos en entornos simplificados. Y para resistir mejor a la competencia de los Gigantes y mantener sus ofertas, todas sus relevantes, Snowflake y Databricks ahora parecen querer jugar la misma tarjeta «abierta»: Apache Iceberg.
Desarrollado en Netflix y incubado en código abierto en Apache desde 2018, Apache Iceberg es un formato de tabla de código abierto diseñado para grandes tablas analíticas que miden en petacts. Su capacidad para administrar los volúmenes de datos masivos de manera efectiva lo ha convertido en una opción privilegiada para los entornos de «big data» como se les llamó. Desde entonces, el formato se ha convertido en clave en el mundo de los lagos de datos y las casas de los lagos gracias a su manejo efectivo de los metadatos, pero también su apoyo a las transacciones ácidas (Iceberg garantiza la consistencia y la confiabilidad de los datos a través de las transacciones atómicas al tiempo que respalda las preguntas SQL), su mecanismo «instantáneo» (que permite pasar el tiempo), sus cambios dinámicos en los diagramas y su desempeño.
Snowflake siempre ha apoyado a Apache Iceberg (especialmente en sus herramientas anexas como el catálogo polaris) pero favoreció su propio formato histórico. Por su parte, Databricks desarrolló su formato propuesto (Delta Lake) antes de adquirir el Tabular de junio pasado (uno de los grandes especialistas en Iceberg) con la firma voluntad de unificar formatos para ocultar las diferencias a los desarrolladores.
La semana pasada, Snowflake hizo un nuevo nivel de apertura a su plataforma al hacerse cargo oficialmente del formato de tabla abierta Apache Iceberg, de hecho colocando su nube nativa de nube de nube a raíz de las «casas abiertas» sin renunciar a sus promesas de rendimiento y seguridad.
« El futuro de los datos está abierto, pero también debe ser simple Resume Christian Kleinerman, producto EVP. » Los clientes no deberían tener que elegir entre formatos abiertos y el rendimiento del primer precio; Con Iceberg, trabajan sus datos abiertos como si fueran tablas nativas de copos de nieve, al tiempo que conservaban la misma seguridad y la misma continuidad de actividad. »
Concretamente, Snowflake ahora aplica directamente su motor de cálculo a las tablas de iceberg y prepara dos aceleradores: el servicio de optimización de búsqueda y aceleración de consultas) destinado a reducir la latencia analítica. La replicación y la sincronización de tablas, actualmente en vista previa privada, permitirán comida rápida después del incidente o ciberataque, mientras que se está desarrollando un soporte para diversos datos con la comunidad de código abierto.
En términos de gobernanza, todas las funciones de acceso, cifrado y control de auditoría ya disponibles para las mesas de copo de nieve se aplican a las mesas de iceberg. Los equipos RSSI pueden extender así sus políticas de cumplimiento sin modificar la arquitectura y beneficiarse de un seguro y monetizable compartir, compartir, entre organizaciones, sin movimiento de datos.
« Con las mesas de iceberg administradas por Snowflake, los clientes se benefician de la flexibilidad de los formatos abiertos al tiempo que aprovechan el rendimiento y la relación calidad -precio de la plataforma ” Resume al editor que busca con esta adopción nativa de iceberg para aterrizar garantizando la portabilidad de datos.
Esta apertura es, de hecho, en una estrategia más amplia: después de haber entregado el catálogo del año pasado, la implementación de código abierto Polaris-Rest del catálogo de iceberg-Snowflake multiplica las adquisiciones orientadas a la comunidad (optimizado de código abierto, modina para la escala de PANDAS, Datavolo alrededor de Apache Nifi, cierto para el gobierno IA) para construir un almacenamiento de ECOSYSTEMYSTEMIO de AII. Por cierto, notaremos que el enfoque del copo de nieve parece ser, en última instancia, menos costoso que este Databricks que «acostado» un cheque por casi $ 2 mil millones en 2024 para permitirse el Tabular.
Para CIO y RSSI, esta adopción de iceberg en el corazón del copo de nieve es, por lo tanto, bienvenida. La ecuación de la «nube de datos» gana, por lo tanto, se produce en claridad: hace posible explotar un formato abierto que se ha convertido en estándar del mercado, al tiempo que retiene SLA, el modelo de seguridad y las capacidades de gobernanza de una plataforma administrada que ya domina. Queda por arbitrar los costos de almacenamiento externos, pero la promesa es clara: unificar la gestión de los datos, y el propietario sin descarga.
Leer también:
Open Data Ecosystems, una palanca clave para la innovación en empresas francesas …
Databricks finalmente eleva más de 15 mil millones
IA 2025: 4 tendencias que redefinen el desarrollo comercial …
«Dé a las empresas la facultad del mismo ecosistema para trabajar juntos»
Databricks lanza lago del lago para simplificar la ingestión de datos
Databricks ofrece tabular por más de $ 1 mil millones
[
