Las investigaciones de Gartner1 indican que «hasta 2018, el 90 por ciento de los Data Lakes desplegados se convertirán en inútiles, a medida que se desbordan con activos de información excesivos que han sido capturados para un uso incierto«. Aunque los Data Lakes tienen numerosos beneficios y pueden a menudo servir como primer paso en la transformación digital de una empresa, también presentan nuevos retos en términos de gobernabilidad, calidad de datos, procedencia y acceso universal.
«Las empresas necesitan cambiar fundamentalmente la manera en que utilizan y comparten los datos en su organización para avanzar en sus esfuerzos de digitalización. Lo bueno de un Data Lake es que independientemente de si está alojado en Hadoop, en las instalaciones de la empresa o en la nube, tiene un repositorio centralizado que le permite almacenar significativamente más información a un menor coste y extraer más comprensión«, dijo Ashley Stirrup, director de marketing de Talend. «La nueva versión de Talend Data Fabric impulsa a los clientes a la siguiente fase de su evolución digital al fomentar lacolaboración entre TI y el negocio para escalar y transformar sus datos en datos clasificados y confiables que los empleados pueden usar para tomar decisiones más informadas.»
Preparación de datos para Big Data
La última versión de Talend Data Fabric permite a los usuarios de las empresas acceder y agilizar lapreparación y limpieza de los datos para obtener más valor de los Data Lakes corporativos. Las nuevas capacidades de preparación de datos de Talend Big Data permiten a los clientes:
– Acceder a cualquier fuente de datos, ya sea alojada en Hadoop, en la nube o en las bases de datos tradicionales, y compartir esta información entre usuarios y grupos para fomentar la colaboración.
– Ejecutar preparaciones a escala utilizando la potencia de Spark 2.0 y Hadoop
– Utilizar un diccionario de datos pre-configurado para reconocer automáticamente el significado de los datos sin procesar del Data Lake, así como aumentar el diccionario con su propio vocabulario, como códigos de producto o nombres
– Obtener vía ‘crowdsourcing’ nuevas definiciones de datos desde datos abiertos y/o la Comunidad Talend 1 Gartner, Inc., “Defining the Data Lake,” Nick Heudecker, Mark A. Beyer, November 2016.
Data Stewardship: Cómo llegar a los datos correctos y limpios
En el mercado cada vez más competitivo de hoy en día, la diferencia entre los líderes digitales y los rezagados radica en cómo las empresas usan sus datos. La nueva aplicación Data Stewardship de Talend es una de las primeras herramientas de autoservicio que permite a los usuarios de TI y de negocio custodiar y gestionar los datos de forma eficiente a lo largo de su ciclo de vida. Con este componente, los usuarios pueden resolver rápidamente muchos problemas de integración de datos para asegurar que los Data Lakes estén limpios, controlados y conformes. La nueva aplicación puede ayudar a las empresas a garantizar un mejor cumplimiento de la ley de protección de datos a fin de evitar las costosas multas que se pueden incurrir por incumplimiento de los mandatos reglamentarios, como el Reglamento General de Protección de Datos o Sarbanes-Oxley. Al ampliar las tareas de gobernanza de datos a los administradores de las líneas de negocio que están más familiarizados con los datos, la nueva aplicación crea un entorno de colaboración, en el que los Data Lakes son «de confianza», lo que estimula un uso más amplio.
Utilizando la aplicación Data Stewardship, los empleados pueden integrar la gobernanza en cualquier flujo de integración de datos y aislar subconjuntos de datos que requieran custodia, mediación o certificación manual. A continuación, la aplicación organiza esas tareas como flujos de trabajo, asigna cada una al trabajador de la empresa más cualificado para realizar el control de calidad y establece reglas de cómo deben limpiarse y validarse los datos. La nueva versión de Talend Data Fabric también utiliza el ’machine learning’ para reconocer las mejores prácticas para la recuperación de datos de los expertos en las líneas de negocios y automatizar la coincidencia de conjuntos de datos masivos para que puedan completarse más rápido y con mayor inteligencia. Además, el nuevo soporte para Apache Atlas permite a los clientes tener una mejor comprensión de la procedencia de los datos en Hadoop, para administrar mejor los riesgos y el cumplimiento.
«Muchas organizaciones comienzan a gestionar sus datos tras un incidente vergonzoso o reglamentario, o porque los trabajadores del área de negocio sienten que no pueden confiar en sus datos. Algunas organizaciones también ven el gobierno de datos como tema de TI y no como un tema de negocio», dijo Stewart Bond, director de investigación del servicio Data Integration Software de IDC. «La mejor manera de administrar el gobierno de datos es involucrar a los trabajadores de líneas de negocio en el proceso de la custodia de datos. Tener un conocimiento íntimo de los datos permite a los usuarios mejorar la confianza y el valor de los datos mediante el enriquecimiento, la limpieza, la normalización y la certificación, aumentando la confianza en las decisiones empresariales basadas en datos».
Las inversiones a medida proporcionan tranquilidad
Las tecnologías de Big Data y Cloud están evolucionando rápidamente, lo que lleva a que algunos clientes puedan tener obsoletas las compras de la plataforma que hacen hoy, en sólo cuestión de meses. Construido sobre código abierto y en conformidad con los estándares de la industria, Talend Data Fabricpuede adaptarse más fácilmente a los cambios que las soluciones de software en propiedad. La continua innovación proporcionada por la comunidad de desarrolladores de código abierto, así como múltiples socios de datos y cloud, garantiza que Talend Data Fabric siga el ritmo de los avances tecnológicos emergentes. Además, Talend Data Fabric es un generador de código impulsado por modelos, lo que hace que sea muy fácil adaptarse a las tecnologías emergentes. Por ejemplo, se puede generar el código para la transición de un trabajo o aplicación de Spark 1.6 a Spark 2.0 en tan sólo unos clics. Todas estas características ofrecen a los clientes la tranquilidad de que sus inversiones en tecnología son seguras a largo plazo y no necesitarán ser reemplazadas cada dos años.