Los conocimientos de los datos y los algoritmos de aprendizaje automático pueden ser invaluables, pero los errores pueden ocasionar daños en la reputación, ingresos o incluso vidas. Esta analítica de alto perfil y errores de inteligencia artificial ilustran lo que puede salir mal.
En 2017, la revista The Economist declaró que los datos, en lugar del petróleo, se habían convertido en el recurso más valioso del mundo. El estribillo se ha repetido desde entonces. Las organizaciones de todas las industrias han invertido y continúan invirtiendo fuertemente en datos y analítica. Pero como el petróleo, los datos y la analítica tienen su lado oscuro.
Según el informe State of the CIO 2023 de CIO, el 34% de los líderes de TI aseguran que los análisis de datos y negocios impulsarán la mayor inversión en TI en su organización este año. Y el 26% de los líderes de TI dicen que el aprendizaje automático o la inteligencia artificial generarán la mayor inversión en TI. Los conocimientos adquiridos a partir de análisis y acciones impulsadas por algoritmos de aprendizaje automático pueden brindar a las organizaciones una ventaja competitiva, pero los errores pueden ser costosos en términos de reputación, ingresos o incluso vidas.
Comprender sus datos y lo que le dicen es importante, pero también es importante comprender sus herramientas, conocer sus datos y tener en cuenta los valores de su organización.
Aquí hay un puñado de análisis de alto perfil y errores de inteligencia artificial de la última década para ilustrar lo que puede salir mal.
ChatGPT alucina casos judiciales
Los avances realizados en 2023 por los modelos de lenguaje de gran tamaño (LLM) han avivado un interés generalizado en el potencial transformador de la IA generativa en casi todas las industrias. ChatGPT de OpenAI ha estado en el centro de este aumento de interés, presagiando cómo la IA generativa tiene el poder de alterar la naturaleza del trabajo en casi todos los rincones de los negocios.
Pero la tecnología aún tiene mucho camino por recorrer antes de que pueda hacerse cargo de la mayoría de los procesos comerciales en forma confiable, como aprendió el abogado Steven A. Schwartz cuando se encontró en problemas con el juez de distrito de Estados Unidos, P. Kevin Castel, en 2023 después de usar ChatGPT para investigar precedentes en un demanda contra la aerolínea colombiana Avianca.
Schwartz, un abogado de Levidow, Levidow & Oberman, usó el chatbot generativo de IA de OpenAI para encontrar casos anteriores y respaldar un caso presentado por el empleado de Avianca, Roberto Mata, por las lesiones que sufrió en 2019. ¿El único problema? Al menos seis de los casos presentados en el escrito no existieron. En un documento presentado en mayo, el juez Castel señaló que los casos presentados por Schwartz incluían nombres y números de expediente falsos, junto con citas internas también falsas.
En una declaración jurada, Schwartz le dijo al tribunal que era la primera vez que usaba ChatGPT como fuente de investigación legal y que “no estaba al tanto de la posibilidad de que su contenido pudiera ser falso”. Admitió que no había confirmado las fuentes proporcionadas por el chatbot de IA. Y luego dijo que “lamenta mucho haber utilizado inteligencia artificial generativa para complementar la investigación legal realizada aquí y nunca lo hará en el futuro sin una verificación absoluta de su autenticidad”.
A partir de junio de 2023, Schwartz enfrentará posibles sanciones por parte de la corte.
Los algoritmos de IA identifican todo menos COVID-19
Desde que comenzó la pandemia de COVID-19, numerosas organizaciones han buscado aplicar algoritmos de aprendizaje automático (machine learning o ML) para ayudar a los hospitales a diagnosticar o clasificar a los pacientes más rápido. Pero según el Instituto Turing del Reino Unido, un centro nacional de ciencia de datos e inteligencia artificial, las herramientas predictivas hicieron poca o ninguna diferencia.
MIT Technology Review ha registrado una serie de fallas, la mayoría de las cuales se derivan de errores en la forma en que se entrenaron o probaron las herramientas. El uso de datos mal etiquetados o datos de fuentes desconocidas fue un culpable común.
Derek Driggs, investigador de aprendizaje automático de la Universidad de Cambridge, junto con sus colegas, publicó un artículo en Nature Machine Intelligence que exploró el uso de modelos de deep learning para diagnosticar el virus. El documento determinó que la técnica no es apta para uso clínico. Por ejemplo, el grupo de Driggs descubrió que su propio modelo tenía fallas porque estaba entrenado en un conjunto de datos que incluía escaneos de pacientes que estaban acostados mientras se escaneaban y pacientes que estaban de pie. Los pacientes que estaban acostados tenían muchas más probabilidades de estar gravemente enfermos, por lo que el algoritmo aprendió a identificar el riesgo de COVID en función de la posición de la persona en el escaneo.
Un ejemplo similar incluye un algoritmo entrenado con un conjunto de datos que incluía escaneos de los tórax de niños sanos. El algoritmo aprendió a identificar a los niños, no a los pacientes de alto riesgo.
Zillow y el desastre algorítmico de compra de viviendas
En noviembre de 2021, el mercado de bienes raíces en línea Zillow anunció a los accionistas que cerraría sus operaciones de Zillow Offers y recortaría el 25% de la fuerza laboral de la compañía (alrededor de 2,000 empleados) durante los próximos trimestres. Los problemas de la unidad de inversión de viviendas fueron el resultado de la tasa de error en el algoritmo de aprendizaje automático que utilizó para predecir los precios de las viviendas.
Zillow Offers era un programa a través del cual la compañía hacía ofertas en efectivo sobre propiedades basadas en un “Zestimate” de valores de viviendas derivado de un algoritmo de aprendizaje automático. La idea era renovar las propiedades y venderlas rápidamente. Pero un portavoz de Zillow le dijo a CNN que el algoritmo tenía una tasa de error promedio del 1.9%, pero que podría alcanzar hasta un 6.9%, para viviendas fuera del mercado.
CNN informó que Zillow compró 27,000 viviendas a través de Zillow Offers desde su lanzamiento en abril de 2018, pero vendió sólo 17,000 hasta fines de septiembre de 2021. Los eventos del cisne negro como la pandemia de COVID-19 y la escasez de mano de obra para la renovación de viviendas contribuyeron a los problemas de precisión del algoritmo.
Según informó Zillow, el algoritmo lo había llevado a comprar viviendas sin querer a precios más altos que sus estimaciones actuales de precios de venta futuros, lo que resultó en una reducción del inventario de 304 millones en el tercer trimestre de 2021.
En una conferencia telefónica con inversionistas luego del anuncio, el cofundador y director ejecutivo de Zillow, Rich Barton, aseguró que podría ser posible modificar el algoritmo, pero que en última instancia era demasiado arriesgado.
Reino Unido perdió miles de casos de COVID al exceder el límite de datos de la hoja de cálculo
En octubre de 2020, Public Health England (PHE), el organismo gubernamental del Reino Unido responsable de contar las nuevas infecciones por COVID-19, reveló que casi 16,000 casos de coronavirus no se informaron entre el 25 de septiembre y el 2 de octubre. ¿El culpable? Limitaciones de datos en Microsoft Excel.
PHE utiliza un proceso automatizado para transferir resultados de laboratorio positivos de COVID-19 como un archivo CSV a plantillas de Excel utilizadas por los paneles de informes y para el seguimiento de contactos. Lamentablemente, las hojas de cálculo de Excel pueden tener un máximo de 1,048,576 filas y 16,384 columnas por hoja de trabajo. Además, PHE enumeraba los casos en columnas en lugar de filas. Cuando los casos excedieron el límite de 16,384 columnas, Excel cortó los 15,841 registros en la parte inferior.
Esta “falla” no impidió que las personas que se habían hecho la prueba recibieran sus resultados, pero obstaculizó los esfuerzos de rastreo de contactos, lo que dificultó que el Servicio Nacional de Salud (NHS) del Reino Unido identificara y notificara a las personas que estuvieron en contacto cercano con pacientes infectados. En una declaración del 4 de octubre, Michael Brodie, director ejecutivo interino de PHE, señaló que NHS Test and Trace y PHE resolvieron el problema rápidamente y transfirieron todos los casos pendientes de inmediato al sistema de rastreo de contactos de NHS Test and Trace.
PHE implementó una “mitigación rápida” que divide archivos grandes y realizó una revisión completa de todos los sistemas para evitar incidentes similares en el futuro.
Fuente de información: cio.com
