La plataforma de datos Databricks se enriquece con una nueva herramienta de orquestación, transformación e ingesta de datos muy esperada: LakeFlow.
Databricks tenía mucho que anunciar en su conferencia” Cumbre Datos+IA 2024 » comenzando con nuevas herramientas de inteligencia artificial para enriquecer su plataforma “Mosaic AI”, así como una revisión total de su plataforma de datos para que (¡por fin!) sea completamente “sin servidor”. Pero el anuncio más esperado fue sin duda lagoflujoun componente básico de ingeniería de datos esencial para cualquier plataforma de datos digna de ese nombre.
Hasta ahora, Databricks había evitado cuidadosamente invertir en el campo de la ingestión y transformación de datos, dejando estas funcionalidades a sus socios, como especialistas en el campo como dbt (Herramienta de creación de datos), Coalesce.io o Fivetran.
Pero la presión de la competencia y especialmente de estos clientes para reducir costes, consolidar servicios y ganar cohesión venció a este deseo de dejar espacio a los socios. Evidentemente estos últimos siempre podrán demostrar su riqueza funcional, su madurez y el impresionante número de conectores disponibles. Sin embargo, la solución integrada de Databricks satisfará las necesidades del mayor número de personas.
Por lo tanto, Databricks ha formalizado su servicio «LakeFlow» sin servidor no solo para simplificar la ingesta de datos desde sistemas aislados y, a veces, ancestrales, sino también para transformar datos y gestionar su calidad a través de canalizaciones gestionadas centralmente.
En última instancia, LakeFlow incluirá tres módulos:
* Conexión LakeFlow : Resultado de la adquisición de Arcion el año pasado, esta herramienta de ingesta pretende ser simple y escalable al tiempo que ofrece una fuerte integración con Unity Catalog para la gestión de los datos ingeridos. Unity Catalog es un catálogo de metadatos de código abierto que permite la gestión unificada de datos mientras los descubre, gestiona y protege desde una interfaz central.
* Tuberías de LakeFlow le permite implementar transformaciones de datos de estilo ETL/ELT en SQL o Python.
* Empleos de LakeFlow Permite la orquestación de tareas, gestión de anomalías, recuperación de datos, etc.
LakeFlow aún está en desarrollo. LakeFlow Connect se encuentra actualmente en vista previa privada. Se espera que los otros dos módulos estén en versión preliminar en los próximos meses.
Lea también:
DataBricks reinventa la tecnología sin servidor
Databricks adquiere Tabular por mil millones de dólares
Databricks anuncia la adquisición de Arcion por 100 millones de dólares
Databricks adquiere MosaicML y enriquece aún más su plataforma de ciencia de datos
[
