TRES ENCUESTAS
Durante los últimos meses, hemos realizado tres encuestas a ejecutivos de datos y tecnología. En dos de ellas participaron los asistentes al MIT’s Chief Data Officer & Information Quality Symposium. Una patrocinada por Amazon Web Services (AWS) y otra por Thoughtworks (aún no publicada).
La tercera encuesta fue realizada por Wavestone, anteriormente NewVantage Partners, sobre cuyas encuestas anuales hemos escrito en el pasado. En total, en las nuevas encuestas participaron más de 500 altos ejecutivos, quizá con cierto solapamiento en la participación.
Obtenga información actualizada sobre cómo liderar con IA y datos
Hay que obtener información mensual sobre el impacto de la inteligencia artificial en cada organización y lo que significa para las empresas y sus clientes. Las encuestas no predicen el futuro, pero sugieren lo que piensan y hacen las personas más cercanas a las estrategias y proyectos de ciencia de datos e IA de las empresas.
Según esos ejecutivos de datos, aquí están los principales problemas en desarrollo: La IA generativa brilla, pero debe aportar valor.
Como hemos señalado, la IA generativa ha captado una enorme atención de empresas y consumidores. Pero, ¿realmente aporta valor económico a las organizaciones que la adoptan? Los resultados de la encuesta sugieren que, aunque el entusiasmo por la tecnología es muy grande, todavía no se ha aportado valor. Grandes porcentajes de los encuestados creen que la IA generativa tiene el potencial de ser transformadora. El 80% de los encuestados de AWS dijeron que creen que transformará sus organizaciones, y el 64% de los encuestados de Wavestone dijeron que es la tecnología más transformadora en una generación.
Una gran mayoría de los encuestados también está aumentando la inversión en esta tecnología. Sin embargo, la mayoría de las empresas todavía están experimentando, ya sea a nivel individual o departamental. Sólo el 6% de las empresas que participaron en la encuesta de AWS tenían alguna aplicación de producción de IA generativa, y sólo el 5% de las que participaron en la encuesta de Wavestone tenían algún despliegue de producción a escala.
¿Se ha aportado valor?
Decíamos que las encuestas sugieren que, aunque el entusiasmo por la IA generativa es muy grande, en gran medida, todavía no se ha aportado valor. Los despliegues de producción de IA generativa requerirán, por supuesto, más inversión y cambios organizativos, no sólo experimentos. Habrá que rediseñar los procesos empresariales y volver a formar a los empleados (o, probablemente sólo en unos pocos casos, sustituirlos por sistemas de IA generativa). Las nuevas capacidades de IA tendrán que integrarse en la infraestructura tecnológica existente.
Los datos
Quizá el cambio más importante tenga que ver con los datos: curar el contenido no estructurado, mejorar la calidad de los datos e integrar diversas fuentes. En la encuesta de AWS, el 93% de los encuestados coincidieron en que la estrategia de datos es fundamental para obtener valor de la IA generativa, pero el 57% no había realizado ningún cambio en sus datos hasta el momento.
La ciencia de datos: de artesanal a industrial.
Las empresas sienten la necesidad de acelerar la producción de modelos de ciencia de datos. Lo que antes era una actividad artesanal se está industrializando. Las empresas están invirtiendo en plataformas, procesos y metodologías, almacenes de características, sistemas de operaciones de aprendizaje automático (MLOps) y otras herramientas para aumentar la productividad y las tasas de despliegue. Según los autores, los sistemas MLOps (Machine Learning Operations) supervisan el estado de los modelos de aprendizaje automático y detectan si siguen prediciendo con una buena precisión. Si no es así, puede ser necesario volver a entrenar los modelos con nuevos datos.
La producción de modelos de datos, antes una actividad artesanal, se está industrializando.
La mayoría de estas capacidades proceden de proveedores externos, pero algunas organizaciones están desarrollando ahora sus propias plataformas. Aunque la automatización (incluidas las herramientas automatizadas de aprendizaje automático, que analizamos más adelante) está ayudando a aumentar la productividad. Ellas van permitir una participación más amplia de la ciencia de datos. Esta es, quizá, la mayor bendición para la productividad de la ciencia de datos. Y esto es probablemente la reutilización de conjuntos de datos, con características o variables existentes, e incluso modelos completos.
Predominarán las dos versiones de productos de datos
En la encuesta de Thoughtworks, el 80% de los líderes de datos y tecnología afirmaron que sus organizaciones estaban utilizando o considerando el uso de productos de datos y gestión de productos de datos.
Por producto de datos, se refieren los autores del articulo al hecho de empaquetar datos pero también al análisis de la IA en una oferta de producto de software. Esto se destina a clientes internos o externos.
Los gestores de productos de datos los gestionan desde su concepción hasta su despliegue (y con mejora continua). Ejemplos de productos de datos son los sistemas de recomendación que orientan a los clientes sobre qué productos comprar a continuación y los sistemas de optimización de precios para los equipos de ventas.
Análisis del concepto de productos de datos
Pero las organizaciones ven los productos de datos de dos maneras diferentes. Algo menos de la mitad (48%) de los encuestados afirman que incluyen capacidades de análisis e IA en el concepto de productos de datos.
Un 30% considera que la analítica y la IA están separadas de los productos de datos y presumiblemente reserva ese término sólo para los activos de datos reutilizables.
¿Son útiles los datos?
Tenemos una ligera preferencia por una definición de productos de datos que incluya la analítica y la IA.
Para los autores del MIT esta es la forma en que los datos se hacen útiles. Pero todo lo que realmente importa es que una organización sea coherente en la forma en que define y discute los productos de datos.
Si una organización prefiere una combinación de «productos de datos» y «productos de análisis e IA«, también puede funcionar bien. Y esa definición conserva muchos de los aspectos positivos de la gestión de productos.
Pero sin claridad en la definición, las organizaciones podrían confundirse acerca de lo que se supone que deben ofrecer los desarrolladores de productos.
Los científicos de datos serán menos atractivos
Los científicos de datos, que han sido llamados «unicornios» y los titulares del «trabajo más sexy del siglo 21» serán menos atractivos. Esto es debido a su capacidad para hacer que todos los aspectos de los proyectos de ciencia de datos tengan éxito, mientras han visto su poder de estrella retroceder.
Una serie de cambios en la ciencia de datos están dando lugar a enfoques alternativos para gestionar partes importantes del trabajo. Uno de estos cambios es la proliferación de funciones relacionadas que pueden abordar partes del problema de la ciencia de datos.
Este conjunto de profesionales en expansión incluye ingenieros de datos e ingenieros de aprendizaje automático para escalar e integrar los modelos.
También se necesitan traductores y conectores para trabajar con las partes interesadas del negocio y gestores de productos de datos para supervisar toda la iniciativa.
Se reduce la demanda de expertos
Otro factor que reduce la demanda de científicos de datos profesionales es el auge de la ciencia de datos ciudadana, en la que empresarios con conocimientos cuantitativos crean modelos o algoritmos por sí mismos.
Estas personas pueden utilizar AutoML, o herramientas automatizadas de aprendizaje automático, para hacer gran parte del trabajo pesado.
Aún más útil para los ciudadanos es la capacidad de modelado disponible en ChatGPT llamada Análisis Avanzado de Datos.
Con una solicitud muy breve y un conjunto de datos cargados, puede gestionar prácticamente todas las etapas del proceso de creación de modelos y explicar sus acciones.
Expertos profesionales de datos
Por supuesto, todavía hay muchos aspectos de la ciencia de datos que requieren científicos de datos profesionales.
El desarrollo de algoritmos totalmente nuevos o la interpretación del funcionamiento de modelos complejos, por ejemplo, son tareas que no han desaparecido.
El año pasado, empezamos a notar que cada vez más organizaciones estaban reduciendo la proliferación de «jefes» de tecnología y datos, incluidos los directores de datos y análisis (y a veces los directores de IA).
Ese papel de CDO/CDAO, aunque cada vez más común en las empresas, se ha caracterizado durante mucho tiempo por la brevedad de los mandatos y la confusión sobre las responsabilidades.
Nuevos puestos especializados
No estamos asistiendo a la desaparición de las funciones desempeñadas por los ejecutivos de datos y análisis, sino que cada vez más se están subsumiendo en un conjunto más amplio de funciones de tecnología, datos y transformación digital gestionadas por un «líder de supertecnología« que suele depender del CEO.
Datos sobre los autores
Thomas H. Davenport (@tdav) es Catedrático Distinguido del Presidente de Tecnología y Gestión de la Información en el Babson College, miembro de la Iniciativa del MIT sobre la Economía Digital y asesor principal del Programa Deloitte Chief Data and Analytics Officer. Es coautor de All in on AI: How Smart Companies Win Big With Artificial Intelligence (HBR Press, 2023) y Working With AI: Real Stories of Human-Machine Collaboration (MIT Press, 2022).
Randy Bean (@randybeannvp) es un líder de opinión, autor, fundador y consejero delegado del sector, y en la actualidad es miembro de innovación, estrategia de datos, para la consultora global Wavestone. Es autor de Fail Fast, Learn Faster: Lessons in Data-Driven Leadership in an Age of Disruption, Big Data, and AI (Wiley, 2021).