Integración del análisis a escala de la nube en la estrategia de adopción de la nube
Cree una estrategia única y centralizada de adopción de la nube para su organización usando la metodología Strategy del Cloud Adoption Framework de Azure. Si aún no ha registrado la estrategia de adopción de la nube, use la estrategia y plantilla de plan para hacerlo.
En este artículo se incluyen consideraciones sobre escenarios de análisis a escala en la nube que afectan a su estrategia más amplia.
Antes de implementar el análisis a escala de la nube, tenga un plan en vigor para la estrategia de datos. Puede empezar pequeño con un único caso de uso o puede tener un conjunto mayor de casos de uso que requieran priorización. Tener una estrategia le ayuda a establecer los procesos y a desencadenar conversaciones iniciales sobre los pilares en los que debe centrarse.
Priorizar los resultados empresariales para la estrategia de datos
Tener una estrategia de datos exitosa le ofrece una ventaja competitiva. Siempre debe alinear la estrategia de datos con los resultados empresariales deseados. La mayoría de los resultados empresariales se pueden clasificar en una de las cuatro categorías siguientes:
Capacitar a los empleados: Proporcionar a sus empleados conocimientos en tiempo real de clientes, dispositivos y máquinas. Este conocimiento les ayuda a colaborar de forma eficaz para satisfacer las necesidades empresariales o de los clientes con agilidad.
Interactuar con los clientes: Ofrecer una experiencia enriquecida, personalizada y conectada inspirada en su marca. Aproveche la eficacia de los datos y la información para impulsar la fidelidad de los clientes a lo largo de cada paso de un recorrido del cliente.
Optimizar operaciones: Aumentar el flujo de información en toda la organización. Sincronice los procesos empresariales y use un enfoque controlado por datos para que cada interacción sea valiosa.
Transformar los productos y el ciclo de vida de desarrollo: Recopilar datos de telemetría sobre sus servicios y ofertas. Use los datos de telemetría para priorizar una versión o crear una nueva característica y evaluar la eficacia y la adopción continuamente.
Después de priorizar los resultados empresariales, examine los proyectos actuales y las iniciativas estratégicas a largo plazo y clasifiquelas en consecuencia. Considere la posibilidad de combinar las cuatro categorías de resultados empresariales en un formato de matriz basado en la complejidad y el impacto. Además, considere la posibilidad de agregar pilares arquitectónicos para ayudarle a profundizar en su escenario.
Desbloqueo del valor estratégico
La creación de una cultura controlada por datos que impulsa el negocio en un modo coherente, de pensamiento hacia delante, ágil e informado tiene algunas complejidades inherentes y realidades básicas. Antes de entrar en la fase de implementación, centre sus esfuerzos en la formación de una estrategia de datos coherente que pueda ayudarle a lograr los resultados empresariales deseados.
Los análisis a escala de la nube están alineados con motivaciones basadas en la innovación. Los siguientes impulsores comunes motivan a los clientes a integrar este escenario en su estrategia de adopción de la nube:
- Un marco de análisis escalable, que le permite crear una plataforma de datos empresariales.
- Autoservicio, que permite a los usuarios explorar datos, crear recursos de datos y desarrollar productos
- Una cultura impulsada por datos con activos de datos reutilizables, comunidades de datos, intercambio seguro de terceros y compartición en situ.
- Uso compartido de datos con confianza, uso de directivas, identidad común, confidencialidad y cifrado
- Experiencias y interacciones mejoradas de los clientes
- Transformación de productos o servicios
- Interrupción del mercado con nuevos productos o servicios
El siguiente diagrama contiene temas clave que le ayudan a realizar estas motivaciones en su propia estrategia. Analice detenidamente estos temas y cómo contribuyen a una estrategia de datos coherente. Además, tenga en cuenta cómo pueden desbloquear el valor estratégico de los datos y permitir un crecimiento empresarial coherente.
"Una estrategia de datos es la base para usar los datos como un recurso y impulsar el avance empresarial. No es un trabajo de revisión para los problemas de datos. Se trata de un plan rector a largo plazo que define las personas, los procesos y la tecnología que se van a poner en marcha para resolver los desafíos de los datos".
La creación de la estrategia es un paso. La ejecución de su estrategia a escala empresarial supone un gran desafío para la cultura, las personas, los procesos y las opciones tecnológicas existentes de su organización. La ejecución requiere compromiso y una propiedad clara en todos los niveles de su organización.
Aumento de la eficiencia
La agilidad de la nube requiere que las organizaciones se adapten rápidamente y traen eficiencias a todas las áreas de negocio. Según el informe sobre los riesgos emergentes de Gartner, a pesar de que las organizaciones siguen centrándose e invierten en iniciativas digitales, dos tercios de estas organizaciones muestran debilidades empresariales y no cumplen con las expectativas, aunque siguen centrándose e invierten en iniciativas digitales.
Operacionalización de la administración de datos
Muchas organizaciones han estado descentralizando lentamente la TI central para permitir la agilidad. Las organizaciones quieren innovar rápidamente y tener acceso a los datos unificados de toda la empresa de una manera de autoservicio les ayuda a cumplir los requisitos empresariales desafiantes.
Hay muchas razones por las que las empresas no pueden aprovechar el potencial completo de sus datos. Puede deberse a que las funciones empresariales funcionan en silos, donde cada equipo usa diferentes herramientas y estándares para el análisis de datos. O puede deberse a un error al vincular indicadores clave de rendimiento a los objetivos empresariales generales.
La democratización de los datos le ayuda a devolver valor a la empresa y a lograr objetivos de crecimiento empresariales desafiantes.
- Comprenda y dé prioridad a sus necesidades de LOB.
- Distribuya los datos entre dominios para permitir la propiedad y acercar los datos a los usuarios.
- Implemente productos de datos de autoservicio para impulsar la información y el valor empresarial.
Para la gobernanza de datos, debe alcanzar un equilibrio adecuado en el mundo descentralizado de la democratización de los datos. Si aplica la gobernanza demasiado estrictamente, puede suprimir la innovación. Sin embargo, si no tiene al menos algunos principios básicos y procesos en vigor, es probable que termine con silos de datos. Estos silos pueden dañar la reputación de su organización y los posibles ingresos. Un enfoque holístico de gobernanza de datos es fundamental para desbloquear el valor estratégico de los datos de forma coherente.
La ausencia de una estrategia de datos bien pensada conduce a la necesidad de simplemente "empezar a trabajar" y empezar a proporcionar rápidamente valor a su organización. Solucione los problemas empresariales actuales actuando en los temas clave mencionados anteriormente o utilizándolos como principios estratégicos dentro de un marco. El uso de estos temas clave también puede ayudarle a crear una estrategia de datos holística que sea iterativa con la validación, pero que todavía proporciona resultados oportunos. Los líderes empresariales y tecnológicos deben desarrollar las estrategias y la mentalidad necesarias para generar valor a partir de datos y escalar rápidamente de forma simplificada y estructurada.
Para obtener más información, consulte ¿Qué es la gobernanza de datos?.
Desarrollo de una cultura impulsada por datos
Para crear una estrategia de datos exitosa, necesita una cultura orientada a los datos. Desarrolle una cultura que fomente de forma coherente la participación abierta y colaborativa. En este tipo de cultura, todo el personal puede aprender, comunicarse y mejorar los resultados empresariales de la organización. El desarrollo de una cultura controlada por datos también mejora la capacidad de cada empleado para generar impacto o influencia respaldado por los datos.
El punto de partida de su recorrido depende de su organización, su sector y su ubicación actual a lo largo de la curva de madurez. En el diagrama siguiente se muestra un modelo de madurez de ejemplo que describe los niveles de madurez del uso de ia de una organización:
Nivel 0
Los datos no se aprovechan mediante programación y de forma coherente. El enfoque de datos de la organización es desde una perspectiva de desarrollo de aplicaciones.
En el nivel 0, la organización suele tener proyectos de análisis no planeados. Cada aplicación es altamente especializada para las necesidades únicas de los datos y las partes interesadas. Cada aplicación también tiene bases de código significativas y equipos de ingeniería, con muchos ingenieros fuera de TI. La habilitación y el análisis de casos de uso están aislados.
Nivel 1
En el nivel 1, se están creando equipos y se está creando la estrategia, pero el análisis sigue siendo departamentalizado. La organización tiende a ser buena en la captura y el análisis de datos tradicionales. Es posible que tenga algún nivel de compromiso con un enfoque a escala de la nube. Por ejemplo, es posible que ya tenga acceso a los datos desde la nube.
Nivel 2
La plataforma de innovación de la organización está casi lista. Los flujos de trabajo se han implementado para abordar la calidad de los datos. La organización puede responder a algunas preguntas de "por qué".
En el nivel 2, la organización está buscando activamente una estrategia de datos de un extremo a otro que usa almacenes de lago de datos controlados centralmente para controlar la expansión del almacén de datos y mejorar la detectabilidad de los datos. La organización está lista para aplicaciones inteligentes que llevan el proceso a lagos de datos controlados centralmente. Estas aplicaciones inteligentes reducen los riesgos de privacidad, los costos de proceso y la necesidad de copias federadas de datos importantes.
En este nivel, la organización también está lista para usar servicios de datos compartidos multiinquilino, hospedados centralmente para tareas comunes de computación de datos. Estos servicios de datos compartidos permiten obtener información rápida de los servicios de inteligencia basados en ciencia de datos.
Nivel 3
La organización usa un enfoque de datos holístico. Los proyectos relacionados con los datos se integran en los resultados empresariales. La organización usa plataformas de análisis para realizar predicciones.
En el nivel 3, la organización desbloquea la innovación digital tanto desde el punto de vista del patrimonio de datos como del desarrollo de aplicaciones. Los servicios de datos fundamentales están en vigor, incluidos los lagos de datos y los servicios de datos compartidos.
Varios equipos de toda la organización ofrecen correctamente cargas de trabajo empresariales críticas, casos de uso empresariales clave y resultados medibles. Los nuevos servicios de datos compartidos se identifican mediante la telemetría. TI es un asesor de confianza para los equipos de toda la empresa, utilizando una estrategia de datos de extremo a extremo confiable y conectada para ayudar a mejorar procesos críticos empresariales.
Nivel 4
En el nivel 4, toda la organización utiliza marcos, estándares, empresa y una cultura impulsada por datos. La automatización, los bucles de retroalimentación impulsados por datos y los centros de excelencia en torno a los análisis u automatización se pueden observar en acción.
Desarrollo de objetivos alineados con el negocio
Identificar las prioridades en línea con la visión empresarial y mantener una ideología "pensar grande, comenzar pequeña y actuar rápido" son claves para el éxito. Elegir el caso de uso adecuado no siempre tiene que ser un proceso de evaluación largo y complicado. Podría representar un problema continuo en cualquier unidad de negocio en la que haya suficientes datos para validar su retorno de la inversión, mayor interés y aceptación fácil. Las cosas se pueden mover rápidamente y es allí donde la mayoría de la organización puede tener dificultades para empezar.
Descripción de los atributos de datos
Para crear una estrategia de datos sólida, debe comprender cómo funcionan los datos. Conocer las características principales de los datos le ayuda a crear una práctica básica para tratar los datos.
Los datos viajan rápido, pero su velocidad no puede desafiar las leyes de la física. Los datos deben cumplir las leyes de la tierra y la industria que la creó.
Los datos no cambian por sí solos, pero es propenso a cambios y pérdidas accidentales a menos que ponga medidas en vigor para mitigar estos desafíos. Implemente medidas anticorrupción para controles, bases de datos y almacenamiento, de modo que pueda afrontar cambios imprevistos. Además, asegúrese de configurar la supervisión, las auditorías, las alertas y los procesos posteriores.
Por sí solo, los datos no generan información ni producen ningún valor. Para obtener información o extraer valor, debe colocar la mayoría o todos los datos a través de cuatro pasos discretos:
- Ingestión
- Almacenamiento
- Tratamiento
- Analítica de datos
Cada uno de estos cuatro pasos tiene sus propios principios, procesos, herramientas y tecnologías.
La retención de los recursos de datos y la información relacionada pueden afectar a las decisiones económicas, políticas, de investigación e inversión. Es fundamental que su organización sea capaz de proporcionar información de forma segura y responsable. Todos los datos que genere o adquiera deben pasar por un ejercicio de clasificación de datos a menos que se indique explícitamente lo contrario. El cifrado es el estándar de oro para controlar datos confidenciales tanto en reposo como en tránsito.
Los datos, las aplicaciones y los servicios tienen sus propias atracciones gravitatorias, pero la atracción de los datos es la más grande. A diferencia de la legendaria manzana de Sir Isaac Newton, los datos no tienen ninguna masa física que afecte a los objetos circundantes. En su lugar, tiene latencia y rendimiento, que actúan como aceleradores para el proceso de análisis. La latencia, el rendimiento y la facilidad de acceso a menudo requieren duplicar los datos, incluso cuando no es deseable. Configure las personas, los procesos, las herramientas y las tecnologías adecuadamente para que pueda equilibrar estos requisitos con las directivas de datos de su organización.
Las construcciones arquitectónicas rigen la velocidad a la que se pueden procesar los datos. Las construcciones se facilitan a través de innovaciones en software, hardware y redes. Algunas consideraciones arquitectónicas son:
- Configuración de la distribución de datos
- Partición
- Tecnologías de caché
- Procesamiento por lotes frente a procesamiento de flujos
- Equilibrio del procesamiento de back-end y del lado cliente
Definición de la estrategia de datos
El uso de datos como una ventaja competitiva para crear mejores productos y servicios de mayor valor no es un concepto nuevo. Sin embargo, el volumen, la velocidad y la variedad de datos habilitados por la informática en la nube son sin precedentes.
El diseño de una plataforma moderna de análisis de datos en la nube consta de seguridad, gobernanza, supervisión, escalado a petición, operaciones de datos y autoservicio. Comprender la interacción entre estas facetas es lo que distingue una excelente estrategia de datos de una buena. Use herramientas como Cloud Adoption Framework para garantizar la cohesividad de la arquitectura, la integridad y los procedimientos recomendados.
Para que sea eficaz, la estrategia de datos debe contener disposiciones para la gobernanza de datos. En el diagrama siguiente se muestran las fases principales de un ciclo de vida de datos, centrándose en la gobernanza de datos como su enfoque:
En las secciones siguientes se describen las consideraciones que debe usar al decidir los principios de diseño de las capas de la estrategia de datos. Céntrese en ofrecer resultados empresariales y valor a partir de los datos.
Ingesta de datos
Una consideración clave para la ingesta de datos es la capacidad de crear una canalización de datos rápidamente de forma segura y conforme, desde los requisitos hasta la producción. Entre los elementos importantes se incluyen las tecnologías basadas en metadatos, autoservicio y código bajo que hidratan el lago de datos.
Al construir canalizaciones, considere tanto el diseño como su capacidad para manejar y distribuir datos, y escalar el cómputo. También debe asegurarse de que dispone de la compatibilidad adecuada con DEvOps para la integración y entrega continuas de la canalización.
Herramientas como Azure Data Factory admiten una gran cantidad de orígenes de datos locales, orígenes de datos de software como servicio (SaaS) y otros orígenes de datos de otras nubes públicas.
Almacenamiento
Etiquete y organice los datos en capas físicas y lógicas. Los lagos de datos forman parte de todas las arquitecturas modernas de análisis de datos. Su organización debe aplicar los requisitos de privacidad, seguridad y cumplimiento de datos adecuados que cumplan todos los requisitos de cumplimiento de la clasificación de datos y del sector en los que opera. La catalogación y el autoservicio ayudan a la democratización de los datos a nivel organizativo, impulsando su innovación mientras se guían por un control de acceso adecuado.
Elija el almacenamiento adecuado para la carga de trabajo. Incluso si no obtiene exactamente el almacenamiento correcto la primera vez, la nube le permite recuperarse rápidamente y recomenzar su proceso. Use los requisitos de la aplicación para elegir la mejor base de datos. Asegúrese de tener en cuenta la capacidad de procesar datos por lotes y streaming a medida que elija su plataforma de análisis.
Procesamiento de datos
Las necesidades de procesamiento de datos varían con cada carga de trabajo. La mayoría del procesamiento de datos a gran escala contiene elementos de procesamiento por lotes y en tiempo real. La mayoría de las empresas también tienen elementos de los requisitos de procesamiento de series temporales y una necesidad de procesar texto de forma libre para las funcionalidades de búsqueda empresarial.
El procesamiento de transacciones en línea (OLTP) proporciona los requisitos de procesamiento organizativo más populares. Algunas cargas de trabajo necesitan un procesamiento especializado, como la informática de alto rendimiento (HPC), a veces denominada "proceso grande". Estas cargas de trabajo resuelven tareas matemáticas complejas con muchos equipos basados en CPU o GPU.
Para determinadas cargas de trabajo especializadas, los clientes pueden proteger entornos de ejecución como la computación confidencial de Azure, lo que ayuda a los usuarios a proteger los datos mientras los datos están en uso en plataformas de nube pública. Este estado es necesario para un procesamiento eficaz. Los datos están protegidos dentro de un entorno de ejecución de confianza (TEE), también conocido como enclave. Un TEE protege el código y los datos frente a cualquier visualización y modificación externa. Los TEE permiten entrenar modelos de inteligencia artificial sin sacrificar la confidencialidad de los datos, incluso cuando se usan orígenes de datos de diferentes organizaciones.
Procesamiento analítico
La construcción de extracción, transformación, carga (ETL) se relaciona con las necesidades de procesamiento analítico en línea (OLAP) y almacenamiento de datos. Un modelo de datos alineado con la empresa y un modelo semántico que permite a las organizaciones implementar reglas de negocio y indicadores clave de rendimiento (KPI) a menudo se implementan como parte del proceso analítico. Una funcionalidad útil es la detección automática del desfase de esquema.
Resumen de la estrategia de datos
Adoptar un enfoque basado en principios para otras consideraciones, como la gobernanza de datos y la inteligencia artificial responsable, rinde dividendos más adelante.
En Microsoft, seguimos cuatro principios básicos: imparcialidad, confiabilidad y seguridad, privacidad y seguridad, e inclusión. Los dos principios fundamentales de transparencia y responsabilidad respaldan los cuatro principios básicos.
Colocamos nuestros principios y inteligencia artificial responsable en la práctica mediante el desarrollo de recursos y un sistema de gobernanza. Algunas de nuestras directrices abordan la interacción entre personas e inteligencia artificial, inteligencia artificial conversacional, diseño inclusivo, una lista de comprobación de equidad de ia y una hoja de datos para conjuntos de datos.
También hemos desarrollado un conjunto de herramientas para ayudar a los demás a comprender, proteger y controlar la inteligencia artificial en cada fase de innovación. Estas herramientas son el resultado de los esfuerzos de colaboración multidisciplinarios para fortalecer y acelerar la inteligencia artificial responsable. La colaboración ha abarcado la ingeniería y el desarrollo de software, ciencias sociales, investigación de usuarios, derecho y política.
Para mejorar la colaboración, se han abierto muchas herramientas como InterpretML y Fairlearn. Otros pueden contribuir y basarse en estas herramientas de código abierto. También hemos democratizado las herramientas a través de Azure Machine Learning.
La transición hacia convertirse en una organización impulsada por datos es fundamental para ofrecer una ventaja competitiva en la nueva normalidad. Queremos ayudar a nuestros clientes a pasar de un enfoque centrado solo en aplicaciones a un enfoque liderado por aplicaciones y datos. Un enfoque centrado en aplicaciones y datos ayuda a crear una estrategia de datos de un extremo a otro que garantice la repetibilidad y escalabilidad en los casos de uso actuales y futuros que afectan a los resultados empresariales.
Fomentar el compromiso, la comunicación y la participación
Todos los roles clave implicados en la estrategia de datos deben comprender claramente el enfoque adoptado y los objetivos empresariales comunes. Los roles clave pueden incluir un equipo de liderazgo (nivel C), unidades de negocio, TI, operaciones y equipos de entrega.
La comunicación es una de las partes más importantes de este marco. Su organización debe diseñar un proceso para una comunicación eficaz entre roles. La comunicación le ayuda a ofrecer eficazmente en el contexto del proyecto actual. También establece un foro que ayuda a todos los implicados a permanecer en línea, actualizados y centrados en el objetivo general de crear una estrategia holística de datos para su futuro.
La interacción es esencial entre los dos grupos siguientes:
- Miembros del equipo que diseñan e implementan la estrategia de datos
- Miembros del equipo que contribuyen, consumen y aprovechan los datos (como las unidades de negocio que toman decisiones y crean resultados basados en los datos).
En otras palabras, las estrategias de datos y las plataformas de datos asociadas que se crean sin la participación del usuario corren el riesgo de enfrentar desafíos en cuanto a su relevancia y adopción.
Dos procesos estratégicos le ayudan a entregarse correctamente en este marco:
- Formación de un centro de excelencia
- Adopción de un método de entrega ágil
Para obtener más información, consulte Desarrollo de un plan de análisis a escala en la nube.
Ofrecer valor
Al entregar productos de datos con respecto a los criterios de éxito de una manera estandarizada y estructurada, esa entrega valida el marco iterativo. Además, utilizar su aprendizaje para innovar continuamente le ayuda a construir confianza empresarial y ampliar los objetivos de su estrategia de datos. Este proceso proporciona una adopción más clara y rápida en toda la organización.
Lo mismo se aplica a la plataforma de datos. Si tiene una configuración donde varios equipos trabajan con bastante autonomía, debería evolucionar hacia una malla. Llegar allí es un proceso iterativo. En muchos casos, requiere cambios significativos en la configuración, preparación y alineación empresarial de la organización.
Pasos siguientes
Lea los siguientes artículos para encontrar orientación para su recorrido de adopción de la nube y asegurar el éxito de su escenario de adopción de la nube.