IA en manos de usuarios imperfectos

npj Digital Medicine volumen 5, Número de artículo: 197 (2022) Citar este artículo

6671 Accesos

7 citas

36 altmétrico

Detalles de métricas

A medida que el uso de la inteligencia artificial y el aprendizaje automático (IA/ML) continúa expandiéndose en la atención médica, se ha prestado mucha atención a mitigar el sesgo en los algoritmos para garantizar que se utilicen de manera justa y transparente. Se ha prestado menos atención a abordar los posibles sesgos entre los usuarios humanos de AI/ML o los factores que influyen en la confianza de los usuarios. Abogamos por un enfoque sistemático para identificar la existencia y los impactos de los sesgos de los usuarios al utilizar herramientas de IA/ML y solicitamos el desarrollo de características de diseño de interfaz integradas, aprovechando conocimientos de la ciencia de la toma de decisiones y la economía del comportamiento, para impulsar a los usuarios hacia una actitud más crítica y reflexiva. toma de decisiones utilizando AI/ML.

El uso de la inteligencia artificial y el aprendizaje automático (IA/ML) continúa expandiéndose en la atención sanitaria, lo que resulta muy prometedor para mejorar la toma de decisiones clínicas personalizadas1. A medida que las herramientas de IA/ML se generalizan, se ha prestado mucha atención a mitigar el sesgo en los algoritmos para garantizar que se utilicen de manera justa y transparente. Sin embargo, se ha prestado menos atención a mitigar posibles sesgos entre los usuarios humanos de la IA. A medida que los sistemas automatizados se vuelven más sofisticados en su capacidad para predecir, detectar o diagnosticar enfermedades, aumentará la tentación de confiar en ellos en la toma de decisiones clínicas2. Sin embargo, los factores que influyen en la dependencia de los usuarios de la IA no se conocen bien y los profesionales de la salud carecen de directrices sobre el papel que la IA debe desempeñar en su toma de decisiones. Abogamos por un enfoque más sistemático para identificar la existencia y los impactos de los sesgos de los usuarios al utilizar herramientas de inteligencia artificial y sus efectos en la toma de decisiones clínicas y los resultados de los pacientes. Específicamente, solicitamos una mayor investigación empírica sobre cómo mitigar los sesgos con resultados negativos anticipados mediante el uso de características de diseño de interfaz integradas, aprovechando conocimientos de la ciencia de la toma de decisiones y la economía del comportamiento, para impulsar a los usuarios hacia una toma de decisiones más crítica y reflexiva utilizando herramientas de inteligencia artificial.

Al reconocer los daños potenciales de una dependencia excesiva de los sistemas de IA en el contexto de la toma de decisiones de alto riesgo, los reguladores y los formuladores de políticas parecen respaldar mantener a los humanos "al tanto" y centrar sus planes de acción y recomendaciones en mejorar la seguridad de los sistemas de IA/ML, por ejemplo a través de precisión computacional mejorada3,4,5. Mientras tanto, los desarrolladores están innovando nuevas formas de abordar la confiabilidad, la responsabilidad y la explicabilidad de la IA/ML de “caja negra” que involucra aprendizaje profundo o redes neuronales con importantes limitaciones de interpretabilidad6,7. Estos objetivos parecen ser particularmente importantes cuando se utiliza IA/ML en la toma de decisiones clínicas, no solo porque los costos de las clasificaciones erróneas y el daño potencial a los pacientes son altos, sino también porque el escepticismo indebido o la falta de confianza pueden reducir la adopción de nuevas y prometedoras tecnologías de IA por parte de las partes interesadas. e inhibir su uso y disponibilidad fuera de entornos experimentales.

Sin embargo, uno de nosotros (SG en Babic et al.8) advirtió recientemente a los profesionales de la salud que desconfíen de las explicaciones que se les presentan sobre los modelos de IA/ML de caja negra.

AI/ML explicable... ofrece fundamentos post hoc generados algorítmicamente de predicciones de caja negra, que no son necesariamente las razones reales detrás de esas predicciones o están relacionadas causalmente con ellas. En consecuencia, la aparente ventaja de la explicabilidad es “oro de tontos”, porque es poco probable que las racionalizaciones post hoc de una caja negra contribuyan a nuestra comprensión de su funcionamiento interno. En cambio, probablemente nos quedemos con la falsa impresión de que lo entendemos mejor”.

En consecuencia, en lugar de centrarse en la explicabilidad como una condición estricta para la IA/ML en la atención sanitaria, los reguladores como la Administración de Alimentos y Medicamentos de EE. UU. (FDA) deberían centrarse de manera más integral en aquellos aspectos de los sistemas de IA/ML que influyen directamente en su seguridad y eficacia. especialmente, cómo se desempeñan estos sistemas en manos de sus usuarios previstos. Si bien la FDA publicó recientemente su guía final reconociendo explícitamente los riesgos del sesgo de automatización9 y está trabajando en un nuevo marco regulatorio para modificaciones del software basado en IA/ML como dispositivo médico (es decir, software que está clasificado como dispositivo médico en la sección 201(h)(1) de la Ley Federal de Alimentos, Medicamentos y Cosméticos de EE. UU.10), Babic et al. argumentan que los reguladores como la FDA también deberían, al menos en algunos casos, enfatizar ensayos clínicos bien diseñados para probar factores humanos y otros resultados del uso de la IA en entornos del mundo real. Gerke et al.11,12 sostienen de manera similar que se deben probar prospectivamente más herramientas algorítmicas para comprender su desempeño en una variedad de contextos procesales que reflejen sus entornos de uso previstos y las interacciones entre humanos y IA. El tipo de prueba de usuario que sugieren estos académicos va más allá de las típicas pruebas de usabilidad y aceptabilidad que caracterizan el proceso desde la versión beta hasta una versión más finalizada de una herramienta de IA. Ese tipo de prueba se realiza con mayor frecuencia de forma heurística13, utilizando un pequeño conjunto de evaluadores para examinar la interfaz y juzgar si cumple con los principios de usabilidad relevantes (por ejemplo, interpretabilidad, utilidad percibida, navegabilidad, satisfacción con el uso, etc.). Si bien estas métricas suelen ser útiles para evaluar las experiencias de usuario próximas (es decir, pruebas de “UX”) con la interfaz de una herramienta, se necesita un nivel más profundo de pruebas de usuario14 para ayudar a identificar y abordar fuentes potenciales de sesgo “emergente” o “contextual”15 que surjan. debido a desajustes entre el diseño de un producto y las características de sus usuarios, casos de uso o configuraciones de uso. Estos desajustes pueden ser más difíciles de predecir y explicar en el caso de las herramientas de IA que en el caso de los dispositivos médicos o productos farmacéuticos tradicionales cuyo rendimiento depende menos de las interacciones e interpretaciones del usuario12, o cuyos algoritmos adaptativos cambian continuamente16. Mitigar estos desajustes sólo se puede lograr ampliando nuestra noción de pruebas de usuario más allá de su enfoque actual en las métricas de rendimiento de la IA y la usabilidad próxima para examinar los factores humanos y sistémicos que dan forma a cómo los sistemas de IA son aplicados en la práctica17,18 por usuarios imperfectos en entornos imperfectos. Además, las pruebas no tienen por qué limitarse a simplemente observar cómo los individuos en diversos contextos interactúan con las herramientas de IA; También podemos probar cuál es la mejor manera de dar forma a esas interacciones utilizando conocimientos existentes de las ciencias del comportamiento, como veremos a continuación.

En esta etapa de la historia de las relaciones entre humanos y máquinas, casi todo el mundo es un usuario imperfecto de la IA. Con esto queremos decir imperfectamente racional: nuestras interpretaciones y la integración de la información en la toma de decisiones, incluidos los conocimientos derivados de la IA, son susceptibles a formas de sesgo bien documentadas19,20. Sin embargo, no todos los sesgos son igualmente destacados o relevantes para el uso seguro, eficaz y responsable de la IA. Tanto desde la perspectiva legal como ética, los sesgos cognitivos más importantes son aquellos que afectan el grado en que los humanos dependen de la IA en su toma de decisiones de maneras que introducen riesgos. La confianza cae en un espectro que va desde el rechazo total o el escepticismo de la IA, por un lado, hasta la "ciega" confianza excesiva o la aceptación de las conclusiones derivadas de la IA, por el otro. Ambos tipos de errores pueden tener impactos negativos en los resultados de los pacientes, y una falta de confianza puede conducir a errores de omisión y una excesiva dependencia de errores de comisión.

La posición de los tomadores de decisiones clínicas en este espectro depende de cuánto confían en un sistema de inteligencia artificial. La literatura de antropología y psicología del desarrollo documenta hallazgos de que la confianza humana está influenciada por cómo se comportan otras personas en contextos de reciprocidad e intercambio21, no sólo de bienes y servicios sino también de conductas de apego22,23 (por ejemplo, afecto, crianza). La lealtad24, la integridad25 y la competencia26 desempeñan papeles importantes en la confianza entre humanos, cada vez más conceptualizada como una capacidad evolucionada para ayudarnos a navegar dinámicas sociales complejas y mitigar el riesgo personal al comprender en qué entidades y objetos se puede confiar bajo qué contingencias27,28,29. Si bien sabemos mucho sobre la confianza en las relaciones humanas, apenas estamos comenzando a comprender cómo y en qué circunstancias los humanos confían en las máquinas. Durante décadas ha existido literatura sobre interacciones hombre-máquina, o investigación de “factores humanos”, en otros ámbitos, incluidos el militar, el aeroespacial y la robótica; pero sólo en la última década las cuestiones relativas a las interacciones humanas con los sistemas autónomos (por ejemplo, el sesgo de automatización) comenzaron a animar el campo de la IA en general, y la ética de la IA en particular2,11.

La confianza juega un papel particularmente crítico cuando se toman decisiones en contextos de incertidumbre. La incertidumbre, por supuesto, es una característica central de la mayoría de la toma de decisiones clínicas, particularmente para afecciones (p. ej., COVID-1930) o tratamientos (p. ej., estimulación cerebral profunda31 o terapias génicas32) que carecen de una larga historia de resultados observados. Como describen Wang y Busemeyer (2021)33, las situaciones de elección “inciertas” se pueden distinguir de las “arriesgadas” en que las decisiones arriesgadas tienen una variedad de resultados con probabilidades conocidas. Si lanzas una moneda, sabemos que tenemos un 50% de posibilidades de que salga cara. Sin embargo, apostar a cara conlleva un alto nivel de riesgo, concretamente, un 50% de posibilidades de perder. Por otro lado, los escenarios de toma de decisiones inciertos no tienen probabilidades de resultados bien conocidas o acordadas. Esto también hace que los contextos inciertos de toma de decisiones sean riesgosos, pero esos riesgos no se conocen lo suficiente como para permitir una toma de decisiones racional. En contextos de escasez de información, las decisiones críticas se toman necesariamente utilizando un razonamiento imperfecto o el uso de “heurísticas para llenar vacíos” que pueden conducir a varios sesgos cognitivos predecibles20. Los individuos pueden ceder ante una figura de autoridad (sesgo de mensajero34, sesgo de autoridad35); pueden mirar para ver qué están haciendo los demás (“efectos de tendencia” y normas sociales35,36); o puede cometer errores de previsión afectiva, proyectando estados emocionales actuales en su yo futuro37. La urgencia percibida o real de las decisiones clínicas puede añadir más sesgos, como la aversión a la ambigüedad (preferencia por riesgos conocidos frente a riesgos desconocidos38) o el aplazamiento del status quo o el incumplimiento39, y la aversión a las pérdidas (ponderar más las pérdidas que las ganancias de la misma magnitud40). Estos sesgos pretenden mitigar los riesgos de lo desconocido cuando se deben tomar decisiones rápidas, pero no siempre nos acercan a llegar al “mejor” curso de acción si toda la información posible estuviera disponible.

Una de las ventajas más convincentes de la IA para la atención médica es reducir esta incertidumbre; por ejemplo, calculando una estimación personalizada de que la condición de un paciente empeorará después de X cantidad de tiempo o disfrutará de un beneficio de supervivencia de Y años después de la intervención. Sin embargo, el hecho de que la IA contribuya con éxito a reducir la incertidumbre todavía depende en gran medida de cómo se interpretan y se actúan las estimaciones. Un pequeño número de estudios que examinan los sesgos en la toma de decisiones al utilizar la IA han identificado que los médicos de todos los niveles de experiencia a menudo no logran descartar los consejos inexactos generados por sistemas computarizados (sesgo de automatización41,42,43,44,45), pero tampoco por humanos, lo que indica que las personas generalmente son susceptibles a las sugerencias. La tendencia a seguir incluso malos consejos parece ser aún más frecuente entre los participantes con menos experiencia en el campo46,47. Recibir este tipo de asesoramiento de los sistemas de IA puede generar mayores peligros al involucrar potencialmente otros sesgos cognitivos, como los efectos de anclaje y el sesgo de confirmación, en los que los usuarios están preparados hacia una determinada perspectiva y orientan desproporcionadamente su atención hacia la información que la confirma48. Otros estudios han encontrado que los participantes son reacios a seguir consejos algorítmicos al tomar decisiones finales (sesgo algorítmico)49,50,51, pero este resultado es inconsistente con otros estudios, que muestran que las personas a veces prefieren el juicio algorítmico al humano46,47,52.

Dada la diversidad de sesgos cognitivos y contingencias bajo las cuales es probable que surjan, se necesita más investigación sistemática para documentar qué factores destacados determinan cómo integramos la IA en las decisiones y cuál es la mejor manera de calibrar la confianza para que coincida con lo que los sistemas de IA realmente pueden hacer ( ej., predecir algo con un determinado grado de probabilidad y precisión). En robótica, la mala “calibración de confianza” entre humanos y máquinas se considera una vulnerabilidad central y un predictor clave de la falla del desempeño53,54. Del mismo modo, poner la IA en manos de los usuarios sin medir, controlar o calibrar sistemáticamente la confianza probablemente exacerba, en lugar de reducir, los ya altos niveles de incertidumbre que caracterizan estos contextos de toma de decisiones, con consecuencias potencialmente graves.

El impulso actual55,56,57 para mejorar la alfabetización de los profesionales de la salud en IA/ML destaca la necesidad de reemplazar la variación idiosincrásica con un razonamiento informado sobre el papel que la IA debería desempeñar en la toma de decisiones clínicas. Sin embargo, es difícil saber qué tipo de orientación deberían recibir los profesionales de la salud cuando se han extraído tan pocas conclusiones empíricas sobre cómo se utiliza o se debe utilizar la IA en la toma de decisiones clínicas (o de cualquier tipo). Tomando lecciones de herramientas algorítmicas que han demostrado reproducir sesgos sociales negativos al predecir factores como la reincidencia delictiva58, el estado de salud y la asegurabilidad1 y el riesgo de enfermedad (por ejemplo, cáncer de piel)59, muchos académicos argumentan60,61 que las herramientas de IA no deberían reemplazar ninguna decisión que Se consideran “alto en juego”: aquellos con impactos significativos relacionados con la salud o la justicia. En el ámbito de la atención sanitaria, algunos expertos recomiendan que incluso la IA con una capacidad bien demostrada para identificar y diagnosticar enfermedades de forma autónoma debería confirmarse con pruebas realizadas por humanos62,63. Se han llegado a conclusiones similares sobre los sistemas de armas autónomos (AWS) en aplicaciones militares64 y marítimas (por ejemplo, transporte no tripulado65), con debates en curso sobre si se debe mantener a los humanos “en” el circuito o “en” el circuito, sugiriendo este último que los humanos pueden No es necesario que adopte un papel activo en la toma de decisiones, pero aún puede (y debe) intervenir o apelar a las inferencias de la IA cuando sus conclusiones contradicen las de AWS (si se detectan a tiempo).

Si estamos de acuerdo en que los humanos todavía deberían estar “dentro” o “en” el circuito, ¿cómo se debería esperar que reaccionen los profesionales de la salud ante la información derivada de la IA? La recomendación de proceder con precaución, si bien está justificada, parece demasiado amplia para adaptarse a las necesidades de toma de decisiones de los médicos que utilizan una poderosa IA para informar decisiones médicas complejas. Existe un acuerdo cada vez mayor en que el dominio de la IA (incluidas sus deficiencias relacionadas con el sesgo, la transparencia y la responsabilidad) debería ser parte de la educación médica, con sugerencias de que los estudiantes de medicina deben adquirir conocimientos suficientes en ciencia de datos, bioestadística, ciencia computacional e incluso IA para la salud. ética66 para garantizar que puedan, entre otras cosas, separar la “información de las exageraciones” y evaluar críticamente los sistemas de IA57,67. Otros68 han argumentado que en todas las etapas de la educación médica se debe dar prioridad al aprendizaje de estrategias eficaces para eliminar el sesgo y a cultivar la conciencia de cómo la heurística puede afectar la toma de decisiones clínicas. Sin embargo, aún no está claro qué prejuicios deben ser más conscientes para los proveedores de atención médica; si los proveedores deberían ser responsables de ser conscientes de sus propios sesgos, o si la mitigación de sesgos puede (o debería) integrarse en procesos estandarizados para implementar herramientas de IA en la toma de decisiones clínicas o en el diseño de las tecnologías mismas.

Si bien es probable que los médicos necesiten cada vez más aprender a utilizar la IA de forma responsable para seguir el ritmo de las innovaciones clínicas, también deberían explorarse otros enfoques complementarios. Una opción prometedora es apoyar a los médicos en su probabilidad de demostrar las características específicas que valoramos en la toma de decisiones clínicas mediante la incorporación de técnicas de mitigación de sesgos en las características de diseño de nuestros sistemas de IA e interfaces de usuario. Esta noción se basa en un trabajo de larga data en ética informática69,70 y se conoce con varios términos, incluidos Value-Sensitive Design (VSD71), Values ​​@ Play72, diseño reflexivo73, diseño adversarial74 y práctica técnica crítica75, y fue originalmente iniciada por Friedman y Nissenbaum76. ,77 en la década de 1990 como una forma de fomentar un proceso reflexivo e iterativo para dar forma a las interacciones entre humanos y computadoras que prioricen la confianza y el bienestar del usuario. Sigue existiendo una gran variación en la forma en que se lleva a cabo la VSD, pero la suposición central que motiva este enfoque es que los enfoques de diseño reflexivo pueden ayudar a mitigar los sesgos de los usuarios para obtener resultados más favorables. Seguir las tres etapas principales de VSD implicaría identificar el rango y la diversidad de los valores de las partes interesadas y la mejor manera de equilibrarlos hacia un objetivo articulado (conceptual), observar los impactos de determinados valores y prácticas en los resultados relevantes (empírico) y diseñar especificaciones técnicas para Diseñar sistemas que reflejen o ayuden a dar forma al uso de un sistema para alinearse con los valores de las partes interesadas (técnico). Un ejemplo sería diseñar sistemas interactivos de gestión de cookies de navegadores web para reflejar los principios de privacidad, voluntariedad y derecho de divulgación71. Los académicos han extendido un cuarto y continuo paso de monitoreo y evaluación del ciclo de vida a los VSD para IA específicamente, dados los impactos a menudo imprevisibles y la naturaleza adaptativa de las herramientas de IA14,78.

Sobre la base de estos enfoques, sostenemos que un enfoque VSD no solo podría ayudar a incorporar valores en el diseño de herramientas de IA, sino también influir (empujar) activa y estratégicamente a los usuarios para que participen en una reflexión más ética y crítica en el uso de dichas herramientas. Este enfoque requiere un compromiso crítico con la ética del empujón en las decisiones de salud, así como la identificación del rango de valores objetivo que uno quiere que los médicos demuestren en la toma de decisiones. El empujón es una forma de paternalismo libertario en el que las decisiones se moldean activamente a través de estrategias como el marco de la información, la estructuración de incentivos y otros medios para mejorar la adopción de ciertos comportamientos79. Si bien la evidencia de la eficacia de este enfoque se remonta a casi dos décadas80, las tácticas de estímulo han demostrado ser efectivas, por ejemplo, durante la pandemia de COVID-19 para fomentar el cumplimiento de conductas que promueven la salud pública, como el lavado de manos y el distanciamiento social81. Aunque no está exento de críticas (por ejemplo, que puede ser una forma de manipulación82,83), una de las razones fundamentales del empujón es preservar la elección individual y al mismo tiempo guiar a las personas hacia comportamientos que beneficien a nivel poblacional84. Sin embargo, determinar quién decide qué valores están involucrados al servicio de la toma de “buenas” decisiones cuando se utiliza una herramienta de IA es complejo y debe basarse en las perspectivas de múltiples y diversas partes interesadas, no solo las de los desarrolladores que diseñan estos sistemas. El Juramento Hipocrático establece un criterio fundamental: las decisiones de los médicos deben estar al servicio de lo que creen que es el mejor interés de los pacientes. Criterios adicionales provienen de una rica literatura sobre toma de decisiones y apoyo a las decisiones clínicas85, lo que sugiere que las decisiones de “calidad” son aquellas que están informadas y generan resultados positivos que son congruentes con los valores del paciente. Es probable que otros valores objetivo, como la autonomía de decisión82, sean relevantes, y cabe señalar que los valores objetivo más destacados pueden cambiar dependiendo de la naturaleza de la herramienta de IA o de las cuestiones éticas planteadas por sus usuarios previstos o contextos de uso. Por ejemplo, una herramienta de IA diseñada para predecir y prevenir la aparición de enfermedades psiquiátricas en adolescentes plantea un conjunto particular de valores objetivo en la toma de decisiones (por ejemplo, autonomía para tomar decisiones, el derecho de los pacientes a un futuro abierto), mientras que una herramienta para identificar la presencia y el pronóstico de el cáncer de pulmón en adultos puede plantear otros (p. ej., evitar reacciones emocionales negativas, consideraciones sobre la capacidad de actuar, el derecho de los pacientes a no saber). Se necesita investigación para dilucidar qué valores objetivo para la toma de decisiones de “calidad” son más destacados en cada escenario clínico.

Un valor objetivo que probablemente sea relevante en toda toma de decisiones clínicas que involucre la IA es la necesidad de promover la reflexividad en la toma de decisiones para evitar las posibles consecuencias negativas de una dependencia excesiva de la IA. Una creciente literatura1,86 que demuestra los efectos potencialmente nocivos de una dependencia excesiva de los algoritmos de IA destaca la importancia de la reflexividad y la deliberación como principios rectores para el despliegue de la IA. Por lo tanto, estas exploraciones y observaciones informan las etapas conceptuales y empíricas del enfoque VSD, dejando el desafío técnico de diseñar interfaces que ayudarán a dar forma al uso deliberativo y reflexivo de los sistemas de IA de manera que se alineen con los intereses de los usuarios. Las investigaciones han demostrado que las formas en que se presenta la información pueden influir en la probabilidad de que los usuarios participen en un pensamiento reflexivo o crítico. Por ejemplo, un estudio realizado por Zhang et al.87 empleó un simple empujón en la interfaz para fomentar la reflexión pidiendo a los participantes que respondieran preguntas breves que aclararan sus propias opiniones frente a lo que consideraban razones que impulsaban perspectivas alternativas. Weinmann88 desarrolló una interfaz en línea con preguntas similares para mejorar la “deliberación interna” al hacer preguntas que alentaran el razonamiento sobre perspectivas alternativas. Otra investigación realizada por Harbach et al.89 demuestra la eficacia de utilizar elementos de diseño de interfaz para inspirar la reflexión al ilustrar las consecuencias de las elecciones del usuario (por ejemplo, recordarles los posibles impactos al seleccionar ciertos parámetros de privacidad del usuario). Menon et al.90 exploraron de manera similar cómo la modificación de los “empujones de interfaz” en relación con sesgos cognitivos específicamente dirigidos (por ejemplo, efectos de anclaje y deseabilidad social) influyeron en la deliberación y las respuestas de los usuarios. Estos estudios destacan cómo el diseño de interfaz estratégica puede ayudar a mejorar la reflexión y reducir la recepción pasiva de información.

Por ejemplo, específicos de las interfaces del sistema de IA, los elementos de diseño pueden variar según el tipo de parte interesada. Una interfaz diseñada para reducir la dependencia excesiva de los médicos en un modelo de IA que estima la supervivencia de un paciente al año después de la intervención podría incluir preguntas breves o una lista de verificación que aliente a los médicos a documentar qué otros factores clínicos, psicosociales o ambientales u opiniones adicionales de expertos han consultado. para corroborar (o cuestionar) la estimación de la IA. De manera complementaria, una interfaz orientada al paciente para la misma herramienta puede contextualizar la estimación numérica de supervivencia dentro de un ejercicio de clarificación de valores más holístico que pide a los pacientes que marquen con un círculo uno o más objetivos de tratamiento que influyen en sus decisiones, fomentando una toma de decisiones reflexiva y basada en valores. Incorporar tales métricas de reflexividad no solo podría ayudar a alejar a los usuarios de una dependencia excesiva de las herramientas de inteligencia artificial, sino también evaluar los impactos en la toma de decisiones clínicas en la práctica, tanto dentro como fuera de los contextos de los ensayos clínicos.

Sin embargo, las interfaces no son las únicas herramientas disponibles con esta capacidad. Conceptualizar cómo un sistema de IA podría encajar en el flujo clínico de manera que fomente la deliberación entre los equipos clínicos también puede ayudar a reducir el potencial de dependencia excesiva91. Se podrían considerar factores situacionales y logísticos, como el entorno (p. ej., el uso colectivo de una herramienta de inteligencia artificial durante la junta de revisión médica versus individualmente en el consultorio de un médico), el momento (antes o después de la candidatura al tratamiento) y el acceso a la información (directo a (comunicación de resultados privilegiada entre el paciente y el médico). La integración de la IA con otras tecnologías clínicas existentes también puede alterar los resultados del uso de herramientas de IA al ampliar la información que se integra en la toma de decisiones92. Los aspectos organizativos pueden incluir formación, supervisión, traspaso y flujo de información entre los miembros del equipo clínico91.

Estos conocimientos discutidos anteriormente representan solo la punta del iceberg de factores que potencialmente pueden coordinarse para influir positivamente en la calidad de las decisiones y los resultados utilizando la IA. Han sido identificados y, a menudo, ampliamente discutidos en campos tan diversos como la ciencia de la toma de decisiones, la economía del comportamiento, los factores humanos, la psicología, las ciencias políticas, la robótica y otros. Sin embargo, pocos de estos conocimientos se han integrado todavía en el diseño de sistemas de IA o se han probado sistemáticamente en ensayos clínicos para dar forma proactiva a cómo se utiliza la IA.

Nos hacemos eco de los llamados de otros de que antes de que las herramientas de IA sean “liberadas a la naturaleza”, debemos comprender mejor sus resultados e impactos en manos de actores humanos imperfectos, probando al menos algunas de ellas de acuerdo con un enfoque basado en el riesgo en ensayos clínicos que reflejan la configuración de uso prevista. Avanzamos en esta propuesta llamando la atención sobre la necesidad de identificar empíricamente y probar cómo los sesgos específicos de los usuarios y los contextos de decisión dan forma a cómo se utilizan las herramientas de IA en la práctica e influyen en los resultados de los pacientes. Proponemos que VSD se puede utilizar para diseñar estrategias para interfaces hombre-máquina de manera que fomenten la reflexión crítica, mitiguen los sesgos y reduzcan la dependencia excesiva de los sistemas de inteligencia artificial en la toma de decisiones clínicas. Creemos que este enfoque puede ayudar a reducir parte de la carga que supone para los médicos descubrir por sí mismos (con sólo una formación o conocimientos básicos sobre IA) el papel óptimo de las herramientas de IA en la toma de decisiones al incorporar un grado de mitigación de sesgos directamente en los sistemas de IA. e interfaces.

Obermeyer, Z. & Emanuel, EJ Predecir el futuro: big data, aprendizaje automático y medicina clínica. N. inglés. J. Med. 375, 1216 (2016).

Artículo de Google Scholar

Klugman, CM & Gerke, S. Auge de la IA bioética: ¿maldición o bendición? Soy. J. Bioeth. 22, 35–37 (2022).

Artículo de Google Scholar

Administración de Alimentos y Medicamentos de EE. UU. Software basado en inteligencia artificial/aprendizaje automático (AI/ML) como plan de acción de dispositivo médico (SaMD). (2021).

Comisión E. Por el que se establecen normas armonizadas sobre inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión. Comisión Europea (Bruselas, 21.4.2021).

Jobin, A., Ienca, M. y Vayena, E. El panorama global de las directrices éticas de la IA. Nat. Mach. Intel. 1, 389–9 (2019).

Artículo de Google Scholar

Chen T, Guestrin C. Actas de la 22ª conferencia internacional ACM SIGKDD sobre descubrimiento de conocimientos y minería de datos. 2016.

Markus, AF, Kors, JA y Rijnbeek, PR El papel de la explicabilidad en la creación de inteligencia artificial confiable para la atención médica: un estudio completo de la terminología, las opciones de diseño y las estrategias de evaluación. J. Biomed. Informar. 113, 103655 (2021).

Artículo de Google Scholar

Babic, B., Gerke, S., Evgeniou, T. y Cohen, IG Tenga cuidado con las explicaciones de la IA en la atención médica. Ciencia 373, 284–286 (2021).

Artículo CAS Google Scholar

Administración de Alimentos y Medicamentos de EE. UU. Software de apoyo a la toma de decisiones clínicas: guía para la industria y el personal de la Administración de Alimentos y Medicamentos. (2022).

Administración de Alimentos y Medicamentos de EE. UU. Ley Federal de Alimentos, Medicamentos y Cosméticos de EE. UU. (2018).

Gerke, S. ¿IA de salud para el bien y no para el mal? la necesidad de un nuevo marco regulatorio para los dispositivos médicos basados ​​en IA. Yale J. Política de salud, derecho, ética 20, 433 (2021).

Google Académico

Gerke, S., Babic, B., Evgeniou, T. y Cohen, IG La necesidad de una visión del sistema para regular el software basado en inteligencia artificial/aprendizaje automático como dispositivo médico. Dígito NPJ. Medicina. 3, 1–4 (2020).

Artículo de Google Scholar

Nielsen, J. & Molich, R. Evaluación heurística de interfaces de usuario. Proc. Conferencia SIGCHI. Tararear. factores Comput. Sistema. 1990, 249–256 (1990).

Google Académico

Wu, E. y col. Cómo se evalúan los dispositivos médicos de IA: limitaciones y recomendaciones de un análisis de las aprobaciones de la FDA. Nat. Medicina. 27, 582–584 (2021).

Artículo CAS Google Scholar

Precio WN II. IA médica y sesgo contextual. Revista Harvard de Derecho y Tecnología 33, 2019.

Babic, B., Gerke, S., Evgeniou, T. y Cohen, IG Algoritmos sobre el bloqueo regulatorio en medicina. Ciencia 366, 1202-1204 (2019).

Artículo CAS Google Scholar

Ansell, DA & McDonald, EK Bias, vidas de personas negras y medicina académica. N. inglés. J. Med. 372, 1087–1089 (2015).

Artículo CAS Google Scholar

Kostick-Quenet, KM et al. Mitigar el sesgo racial en el aprendizaje automático. J. Ley Med. Ética 50, 92-100 (2022).

Artículo de Google Scholar

Blumenthal-Barby, JS Buena ética y malas decisiones: la relevancia de la economía del comportamiento para la ética médica. (Prensa del MIT, 2021).

Kahneman D., Slovic SP, Slovic P. y Tversky A. Juicio en condiciones de incertidumbre: heurísticas y sesgos. (Prensa de la Universidad de Cambridge, 1982).

Pillutla, MM, Malhotra, D. & Murnighan, JK Atribuciones de confianza y cálculo de reciprocidad. J. Exp. Soc. Psicólogo. 39, 448–455 (2003).

Artículo de Google Scholar

Corriveau, KH y cols. La confianza de los niños pequeños en las afirmaciones de su madre: vínculos longitudinales con la seguridad del apego en la infancia. Desarrollo infantil. 80, 750–761 (2009).

Artículo de Google Scholar

Fett, A.-K. et al. Aprender a confiar: confianza y apego en la psicosis temprana. Psicólogo. Medicina. 46, 1437-1447 (2016).

Artículo de Google Scholar

Butler, JK Jr. y Cantrell, RS Un enfoque de la teoría de la decisión conductual para modelar la confianza diádica en superiores y subordinados. Psicólogo. Representante 55, 19-28 (1984).

Artículo de Google Scholar

Mayer, RC, Davis, JH y Schoorman, FD Un modelo integrador de confianza organizacional. Acad. Gestionar. Rev. 20, 709–734 (1995).

Artículo de Google Scholar

Grover, SL, Hasel, MC, Manville, C. y Serrano-Archimi, C. Reacciones de los seguidores ante las violaciones de la confianza del líder: una teoría fundamentada sobre los tipos de violaciones, la probabilidad de recuperación y el proceso de recuperación. EUR. Gestionar. J. 32, 689–702 (2014).

Artículo de Google Scholar

Banaji MR & Gelman SA Navegando por el mundo social: lo que los bebés, los niños y otras especies pueden enseñarnos. (Prensa de la Universidad de Oxford; 2013).

Fawcett, C. Los niños prestan atención al intercambio de saliva para inferir relaciones sociales. Ciencia 375, 260–261 (2022).

Artículo CAS Google Scholar

Kaufmann, L. & Clément, F. Cableado para la sociedad: conociendo caminos hacia la sociedad y la cultura. Topoi 33, 459–75. (2014).

Artículo de Google Scholar

Vickery, J. y col. Desafíos para la toma de decisiones basada en evidencia en el contexto de pandemias: estudio cualitativo de las perspectivas de los asesores de políticas de COVID-19. Globo BMJ. Salud 7, e008268 (2022).

Artículo de Google Scholar

Muñoz, KA et al. Cuestiones éticas urgentes al considerar la estimulación cerebral profunda pediátrica para el trastorno obsesivo-compulsivo. Estímulo cerebral. 14, 1566–72. (2021).

Artículo de Google Scholar

Hampson, G., Towse, A., Pearson, SD, Dreitlein, WB y Henshall, C. Terapia genética: evidencia, valor y asequibilidad en el sistema de atención médica de EE. UU. J.Comp. Ef. Res. 7, 15-28 (2018).

Artículo de Google Scholar

Wang, ZJ y Busemeyer, JR Modelado de elección cognitiva. (Prensa del MIT, 2021).

Menon, T. & Blount, S. El sesgo del mensajero: un modelo relacional de valoración del conocimiento. Res. Organo. Comportamiento. 25, 137–186 (2003).

Google Académico

Howard, J. Efecto Bandwagon y sesgo de autoridad. Errores cognitivos y errores de diagnóstico. 21–56 (Springer; 2019).

Slovic, P. La construcción de la preferencia. Soy. Psicólogo. 50, 364 (1995).

Artículo de Google Scholar

Levine, LJ, Lench, HC, Karnaze, MM y Carlson, SJ Sesgo en las emociones predichas y recordadas. actual. Opinión. Comportamiento. Ciencia. 19, 73–77 (2018).

Artículo de Google Scholar

Christman, J. La política de las personas: autonomía individual y yo sociohistórico. (Prensa de la Universidad de Cambridge, 2009).

Samuelson, W. y Zeckhauser, R. Sesgo de status quo en la toma de decisiones. J. Riesgo incierto. 1, 7–59 (1988).

Artículo de Google Scholar

Hardisty, DJ, Appelt, KC & Weber, EU Bueno o malo, lo queremos ahora: el sesgo presente de costos fijos para ganancias y pérdidas explica las asimetrías de magnitud en la elección intertemporal. J. Comportamiento. Decide. Mak. 26, 348–361 (2013).

Artículo de Google Scholar

Alon-Barkat, S. & Busuioc, M. Procesamiento de consejos algorítmicos de IA por parte de los tomadores de decisiones: sesgo de automatización versus adherencia selectiva. https://arxiv.org/ftp/arxiv/papers/2103/2103.02381.pdf (2021).

Bond, RR y cols. Sesgo de automatización en medicina: la influencia de los diagnósticos automatizados en la precisión y la incertidumbre del intérprete al leer electrocardiogramas. J. Electrocardiol. 51, T6-T11 (2018).

Artículo de Google Scholar

Cummings, sesgo de automatización de ML en sistemas inteligentes de soporte a decisiones críticas en el tiempo. Toma de decisiones en aviación. 289–294 (Routledge, 2017).

Jussupow, E., Spohrer, K., Heinzl, A. y Gawlitza, J. ¿Aumentar las decisiones de diagnóstico médico? Una investigación sobre el proceso de toma de decisiones de los médicos con inteligencia artificial. inf. Sistema. Res. 32, 713–735 (2021).

Artículo de Google Scholar

Skitka, LJ, Mosier, KL y Burdick, M. ¿La automatización influye en la toma de decisiones? En t. J. Hum. Computadora. Semental. 51, 991–1006 (1999).

Artículo de Google Scholar

Dijkstra, JJ, Liebrand, WB & Timminga, E. Persuasividad de los sistemas expertos. Comportamiento. inf. Tecnología. 17, 155-163 (1998).

Artículo de Google Scholar

Logg, JM, Minson, JA & Moore, DA Apreciación de algoritmos: la gente prefiere el juicio algorítmico al humano. Organo. Comportamiento. Tararear. Decide. Proceso. 151, 90-103 (2019).

Artículo de Google Scholar

Furnham, A. & Boo, HC Una revisión de la literatura sobre el efecto de anclaje. J. Socioeconomía. 40, 35–42 (2011).

Artículo de Google Scholar

Diab, DL, Pui, SY, Yankelevich, M. & Highhouse, S. Percepciones de Lay sobre las ayudas para la decisión de selección en muestras estadounidenses y no estadounidenses. En t. J. Sel. Evaluar. 19, 209–216 (2011).

Artículo de Google Scholar

Dietvorst, BJ, Simmons, JP & Massey, C. Aversión a los algoritmos: las personas evitan erróneamente los algoritmos después de verlos equivocarse. J. Exp. Psicólogo. Génesis 144, 114 (2015).

Artículo de Google Scholar

Promberger, M. & Baron, J. ¿Los pacientes confían en las computadoras? J. Comportamiento. Decide. Mak. 19, 455–468 (2006).

Artículo de Google Scholar

Gaube, S. y col. Haga lo que dice la IA: susceptibilidad en el despliegue de ayudas para la toma de decisiones clínicas. Dígito NPJ. Medicina. 4, 1–8 (2021).

Artículo de Google Scholar

Mosier, K. L, Skitka, LJ, Burdick, MD y Heers, ST Sesgo de automatización, responsabilidad y comportamientos de verificación. Actas de la reunión anual de la Sociedad de Factores Humanos y Ergonomía. págs. 204–208 (SAGE Publications Sage CA, Los Ángeles, CA, 1996).

Wickens, CD, Clegg, BA, Vieane, AZ & Sebok, AL Complacencia y sesgo de automatización en el uso de automatización imperfecta. Tararear. Factores 57, 728–739 (2015).

Artículo de Google Scholar

Li, D., Kulasegaram, K. y Hodges, BD Por qué no debemos temer a las máquinas: oportunidades para la medicina en un mundo de aprendizaje automático. Acad. Medicina. 94, 623–625 (2019).

Artículo de Google Scholar

Paranjape, K., Schinkel, M., Panday, RN, Car, J. y Nanayakkara, P. Introducción de la formación en inteligencia artificial en la educación médica. JMIR Med. Educativo. 5, e16048 (2019).

Artículo de Google Scholar

Park, SH, Do, K.-H., Kim, S., Park, JH y Lim, Y.-S. ¿Qué deben saber los estudiantes de medicina sobre la inteligencia artificial en medicina? J. Educación. Evaluación. Prof. de Salud 16, 18 (2019).

Artículo de Google Scholar

Leavy, S., O'Sullivan, B. & Siapera, E. Datos, poder y sesgo en inteligencia artificial. https://arxiv.org/abs/2008.07341 (2020).

Goyal, M., Knackstedt, T., Yan, S. & Hassanpour, S. Métodos de clasificación de imágenes basados ​​en inteligencia artificial para el diagnóstico del cáncer de piel: desafíos y oportunidades. Computadora. Biol. Medicina. 127, 104065 (2020).

Artículo de Google Scholar

Loftus, TJ y cols. Inteligencia artificial y toma de decisiones quirúrgicas. JAMA Cirugía. 155, 148-158 (2020).

Artículo de Google Scholar

Rudin, C. Deje de explicar modelos de aprendizaje automático de caja negra para decisiones de alto riesgo y utilice modelos interpretables en su lugar. Nat. Mach. Intel. 1, 206–215 (2019).

Artículo de Google Scholar

Kelly, CJ, Karthikesalingam, A., Suleyman, M., Corrado, G. y King, D. Desafíos clave para generar impacto clínico con inteligencia artificial. BMC Med. 17, 1–9 (2019).

Artículo CAS Google Scholar

Yu, K.-H., Beam, AL y Kohane, IS Inteligencia artificial en la atención sanitaria. Nat. Biomédica. Ing. 2, 719–731 (2018).

Artículo de Google Scholar

Cowen MBCrRW. ¿Es Human-On-the-Loop la mejor respuesta para respuestas rápidas y relevantes? 2021. https://www.japcc.org/essays/is-human-on-the-loop-the-best-answer-for-rapid-relevant-responses/ (consultado el 23 de agosto de 2022).

Man, Y., Lundh, M. & Porathe, T. Buscando armonía en el manejo de buques no tripulados en tierra: desde la perspectiva de los factores humanos, ¿cuál es la diferencia en la que debemos centrarnos entre estar a bordo y estar en tierra? Factores humanos en el transporte. 81–90 (Prensa CRC, 2016).

Katznelson, G. & Gerke, S. La necesidad de una ética de la IA en salud en la educación de las facultades de medicina. Adv. Ciencias de la Salud. Educativo. 26, 1447-1458 (2021).

Artículo de Google Scholar

Grunhut, J., Marques, O. y Wyatt, AT Necesidades, desafíos y aplicaciones de la inteligencia artificial en el plan de estudios de educación médica. JMIR Med. Educativo. 8, e35587 (2022).

Artículo de Google Scholar

Doherty, TS & Carroll, AE Creer en la superación de los sesgos cognitivos. AMA J. Ética 22, 773–778 (2020).

Artículo de Google Scholar

Friedman, B. & Nissenbaum, H. Sesgo en los sistemas informáticos. Ética informática. 215–232 (Routledge, 2017).

Introna, LD y Nissenbaum, H. Dar forma a la web: por qué es importante la política de los motores de búsqueda. inf. Soc. 16, 169–185 (2000).

Artículo de Google Scholar

Friedman B., Kahn PH, Borning A. y Huldtgren A. Sistemas de información y diseño sensibles al valor. Participación temprana y nuevas tecnologías: abriendo el laboratorio. 55–95 (Springer, 2013).

Flanagan, M., Howe, DC y Nissenbaum, H. Valores en juego: compensaciones de diseño en el diseño de juegos con orientación social. Proc. Conferencia SIGCHI. Tararear. factores Comput. Sistema. 2005, 751–760 (2005).

Artículo de Google Scholar

Sengers, P., Boehner, K., David, S. y Kaye, JJ Diseño reflectante. Proc. 4to Decenio. Conf. Crítico. Comput.: sensibilidad sensorial 2005, 49–58 (2005).

Google Académico

DiSalvo C. Diseño adversario: Mit Press; 2015.

Agre, P. & Agre, PE Computación y experiencia humana. (Prensa de la Universidad de Cambridge, 1997).

Friedman, B. & Kahn, PH Jr. Agencia humana y computación responsable: implicaciones para el diseño de sistemas informáticos. J. Sistema. Software. 17, 7-14 (1992).

Artículo de Google Scholar

Nissenbaum, H. Responsabilidad en una sociedad informatizada. Ciencia. Ing. Ética 2, 25–42 (1996).

Artículo de Google Scholar

Floridi, L., Cowls, J., King, TC y Taddeo, M. Cómo diseñar IA para el bien social: siete factores esenciales. Ciencia. Ing. Ética 26, 1771-1796 (2020).

Artículo de Google Scholar

Dolan, P. y col. Influir en el comportamiento: el camino del espacio mental. J. Psicología Económica. 33, 264–277 (2012).

Artículo de Google Scholar

Kosters, M. & Van der Heijden, J. Del mecanismo a la virtud: evaluación de la teoría del empujón. Evaluación 21, 276–291 (2015).

Artículo de Google Scholar

Smith, HS y cols. Una revisión del marco MINDSPACE para impulsar la promoción de la salud durante las primeras etapas de la pandemia COVID-19. Gestión de la Salud de la Población, 2022.

Blumenthal-Barby, JS Entre la razón y la coerción: influencia éticamente permisible en contextos de atención médica y políticas de salud. Instituto Kennedy. Ética J. 22, 345–366 (2012).

CAS Google Académico

Hausman, DM y Welch, B. Debate: empujar o no empujar. J. Polit. Filos. 18, 123–36. (2010).

Artículo de Google Scholar

Sunstein CR ¿Por qué empujar?: La política del paternalismo libertario: Yale University Press; 2014.

Witteman, HO et al. Desarrollo sistemático de ayudas para la toma de decisiones del paciente: una actualización de la colaboración IPDAS. Medicina. Decide. Mak. 41, 736–754 (2021).

Artículo de Google Scholar

Dressel, J. y Farid, H. La precisión, la equidad y los límites de la predicción de la reincidencia. Ciencia. Adv. 4, eao5580 (2018).

Artículo de Google Scholar

Zhang, W., Yang, T. y Tangi Perrault, S. Un empujón para la reflexión: más que un simple canal hacia el conocimiento político. Proc. Conferencia CHI 2021. Tararear. Computación de factores. Sistema. 2021, 1–10 (2021).

Google Académico

Weinmann, C. Medición del pensamiento político: desarrollo y validación de una escala para la “deliberación interna”. Polit. Psicólogo. 39, 365–380 (2018).

Artículo de Google Scholar

Harbach, M., Hettig, M., Weber, S. & Smith, M. Uso de ejemplos personales para mejorar la comunicación de riesgos para decisiones de seguridad y privacidad. Proc. Conferencia SIGCHI. Tararear. factores Comput. Sistema. 2014, 2647–2656 (2014).

Artículo de Google Scholar

Menon, S., Zhang, W. y Perrault, ST Empujón para la deliberación: cómo las características de la interfaz influyen en el discurso en línea. Proc. Conferencia CHI 2020. Tararear. Computación de factores. Sistema. 2020, 1-13 (2020).

Google Académico

Sujan M., Furniss D., Hawkins RD & Habli, I. Factores humanos del uso de la inteligencia artificial en la atención médica: desafíos que abarcan todas las industrias. Simposio sobre sistemas críticos para la seguridad: York; 2020.

Sujan, M. et al. Desafíos de los factores humanos para el uso seguro de la inteligencia artificial en la atención al paciente. Informe de atención médica de BMJ. 26, e100081 (2019).

Descargar referencias

KK-Q. informa subvenciones del Centro Nacional para el Avance de las Ciencias Traslacionales de los Institutos Nacionales de Salud (1R01TR004243-01) y los Institutos Nacionales de Salud Mental (no. 3R01MH125958-02S1). SG informa subvenciones de la Unión Europea (Acuerdo de subvención n.° 101057321 y 101057099), el Instituto Nacional de Imágenes Biomédicas y Bioingeniería (NIBIB) de los Institutos Nacionales de Salud (Acuerdo de subvención n.° 3R01EB027650-03S1) y el Rock Ethics Institute en Universidad Estatal de Pensilvania.

Centro de Ética Médica y Política de Salud, Baylor College of Medicine, Houston, TX, EE. UU.

Kristin M. Kostick-Quenet

Penn State Dickinson Law, Carlisle, Pensilvania, EE. UU.

Sara Gerke

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

Ambos autores contribuyeron igualmente conceptualmente a este artículo. KK-Q. contribuyó con un primer borrador y SG contribuyó con la redacción de borradores posteriores.

Correspondencia a Kristin M. Kostick-Quenet.

Los autores declaran no tener conflictos de intereses.

Nota del editor Springer Nature se mantiene neutral con respecto a reclamos jurisdiccionales en mapas publicados y afiliaciones institucionales.

Acceso Abierto Este artículo está bajo una Licencia Internacional Creative Commons Attribution 4.0, que permite el uso, compartir, adaptación, distribución y reproducción en cualquier medio o formato, siempre y cuando se dé el crédito apropiado a los autores originales y a la fuente. proporcione un enlace a la licencia Creative Commons e indique si se realizaron cambios. Las imágenes u otro material de terceros en este artículo están incluidos en la licencia Creative Commons del artículo, a menos que se indique lo contrario en una línea de crédito al material. Si el material no está incluido en la licencia Creative Commons del artículo y su uso previsto no está permitido por la normativa legal o excede el uso permitido, deberá obtener permiso directamente del titular de los derechos de autor. Para ver una copia de esta licencia, visite http://creativecommons.org/licenses/by/4.0/.

Reimpresiones y permisos

Kostick-Quenet, KM, Gerke, S. AI en manos de usuarios imperfectos. npj Dígito. Medicina. Apocalipsis 5, 197 (2022). https://doi.org/10.1038/s41746-022-00737-z

Descargar cita

Recibido: 24 de agosto de 2022

Aceptado: 29 de noviembre de 2022

Publicado: 28 de diciembre de 2022

DOI: https://doi.org/10.1038/s41746-022-00737-z

Cualquier persona con la que compartas el siguiente enlace podrá leer este contenido:

Lo sentimos, actualmente no hay un enlace para compartir disponible para este artículo.

Proporcionado por la iniciativa de intercambio de contenidos Springer Nature SharedIt

Informes Científicos (2023)