Las herramientas de inteligencia industrial generativa perpetúan estereotipos y difunden desinformación Crédito: Shutterstock
Las herramientas generativas de IA han enfrentado preocupaciones y controversias desde su creación correcto a sus fuentes de datos defectuosas y el peligro de propagación de información errónea.
Un estudio flamante lo ha demostrado una vez más, revelando que las historias generadas por IA sobre profesionales médicos perpetúan los estereotipos de índole, incluso cuando los algoritmos intentan “corregir” sesgos pasados.
Un estudio realizado por investigadores reveló que las herramientas de IA generativa se basan en estereotipos de índole
Un importante estudio realizado por investigadores de la Universidad Flinders, Australia, examinó cómo tres importantes herramientas de IA generativa (ChatGPT de OpenAI, Gemini de Google y Fogosidad de Meta) retratan los roles de índole en el campo médico.
El estudio ejecutó casi 50.000 preguntas y les pidió que contaran historias sobre médicos, cirujanos y enfermeras, lo que reveló que los modelos de IA a menudo se basan en estereotipos de índole, especialmente en las narrativas médicas.
El estudio encontró que el 98 por ciento de las historias generadas por modelos de IA identificaron a las enfermeras como mujeres, independientemente de su nivel de experiencia, pasado o rasgos de personalidad.
Esta representación refuerza los estereotipos tradicionales de que la dispensario es una profesión predominantemente femenina.
Las herramientas de IA no se detuvieron en las enfermeras, todavía sobrerrepresentaron a las mujeres como médicos y cirujanas en las historias generadas, una posible señal de sobrecorrección por parte de las empresas de IA.
Dependiendo del maniquí utilizado, las mujeres representaban entre el 50 y el 84 por ciento de los médicos y entre el 36 y el 80 por ciento de los cirujanos.
Esta representación contrasta con los datos del mundo vivo, donde los hombres todavía representan una mayoría significativa en estas profesiones.
Los modelos de IA están perpetuando estereotipos de índole profundamente arraigados, incluidos los rasgos de personalidad.
Estas sobrerrepresentaciones pueden deberse a recientes ajustes algorítmicos realizados por empresas como OpenAI, que han enfrentado críticas por los sesgos incorporados en sus resultados de IA.
La Dra. Sarah Saxena, anestesióloga de la Universidad Disponible de Bruselas, señaló que si acertadamente se han hecho esfuerzos para encarar los sesgos algorítmicos, parece que algunas distribuciones de índole podrían ahora estar sobrecorregidas.
Sin incautación, estos modelos de IA todavía perpetúan estereotipos profundamente arraigados; cuando las historias sobre los trabajadores de la sanidad incluyeron descripciones de sus personalidades, surgió una clara división de índole.
Los modelos de IA tenían más probabilidades de describir a los médicos agradables, abiertos o concienzudos como mujeres.
Por el contrario, si un médico era representado como inexperto o en un puesto subalterno, la IA solía describirlo como mujer.
Por otro banda, cuando los médicos se caracterizaban por rasgos como la arrogancia, la mala educación o la incompetencia, se los identificaba con viejo frecuencia como hombres.
La Dra. Sarah Saxena destaca los peligros de las herramientas de IA que se basan en estereotipos
El estudio, publicado en JAMA Network Open, destacó que esta tendencia apunta a un problema más amplio:
“Las herramientas de inteligencia industrial generativa parecen perpetuar estereotipos de larga data respecto de los comportamientos esperados de los géneros y la idoneidad de estos para roles específicos”.
Este problema no se limita a las narraciones escritas.
El equipo del Dr. Saxena exploró cómo las herramientas de procreación de imágenes de IA, como Midjourney y ChatGPT, representan a los anestesiólogos.
Su test reveló que las mujeres eran representadas comúnmente como anestesiólogas pediátricas u obstétricas, mientras que los hombres eran retratados en roles más especializados, como anestesiólogos cardíacos.
Adicionalmente, cuando se pidió producir imágenes del “patrón de anestesiología”, prácticamente todos los resultados presentaban hombres.
Este meta de “techo de cristal”, como lo llamó la Dra. Saxena, muestra que la IA puede estar reforzando las barreras para las mujeres en el campo médico.
Estos sesgos tienen implicaciones de prolongado talento, no sólo para las mujeres y los grupos subrepresentados en la medicina, sino todavía para la atención al paciente.
“Es necesario encarar” los estereotipos y prejuicios sobre la IA antaño de integrarla más en la atención médica
A medida que los modelos de IA se integran cada vez más en la atención médica, desde la reducción del papeleo oficinista hasta la donación con los diagnósticos, aumentan los riesgos de perpetuar estereotipos dañinos.
Un estudio de 2023 incluso descubrió que ChatGPT podría estereotipar los diagnósticos médicos en función de la raza o el índole del paciente, mientras que otro investigación advirtió que estos modelos promueven “ideas racistas desacreditadas” en la atención médica.
“Existe un dicho que dice: ‘no puedes ser lo que no puedes ver’, y esto es muy importante cuando se proxenetismo de IA generativa”, enfatizó el Dr. Saxena.
A medida que la IA se vuelve más frecuente en el sector de la sanidad, es fundamental encarar estos sesgos. “Esto debe abordarse antaño de que podamos integrarla verdaderamente y ofrecerla ampliamente a todos, para que sea lo más inclusiva posible”, agregó el médico.
El estudio sirve como una señal de atención tanto para la industria de la IA como para los profesionales de la sanidad.
Está claro que, a medida que las herramientas de IA continúan evolucionando, se deben realizar esfuerzos conscientes para evitar que perpetúen estereotipos y prejuicios obsoletos, garantizando un futuro más equitativo para todos.