Lo que supone uno de los grandes avances científicos en materia de Inteligencia Artificial llega casi terminando el año 2023. Un estudio publicado en JAMA Network Open revela que una nueva tecnología de inteligencia artificial puede diagnosticar el autismo infantil a partir de fotos de los ojos de los niños con una precisión del 100%.
|
etiquetas: ia , autismo , fotografía , imágenes oculares , estudio 
Que de 100% de precisión es de hecho un motivo para sospechar.
Existe un caso en el que en laboratorio conseguían un 90% de precisión y al aplicarlo al mundo real los resultados no fueron los esperados:
La IA médica de Google: éxito en laboratorio, fracaso en el hospital
www.technologyreview.es/s/12177/la-ia-medica-de-google-exito-en-labora
Por ejemplo las imágenes de los ojos de los niños previamente diagnosticados con autismo podrían haber sido hechas en momentos y sitios distintos que las de los no autistas y la IA podría haberse fijado en aspectos que para nosotros no son visibles o relevantes pero sí para la IA, por ejemplo donde están las luces que se reflejan en los ojos. Pudiendo así descartar las fotos hechas en un sitio de otro. O en un periodo de tiempo u otro, o el modelo de cámara, o ...
A mí lo que más me sorprendió de ChatGPT es que supiera hablar catalán, era una característica emergente que nadie decidió enseñarle de forma específica pero que necesariamente adquirió para poder acceder a los textos del set de entrenamiento, que básicamente es Internet, que estaban en catalán. Adquirió la capacidad de comunicarse en catalán no como objetivo principal sino como necesidad para su objetivo general que era aprenderlo todo.
Con Bard usando el motor de Gemini leí que por ahora solo estaba en inglés, hay que acceder por VPN en EEUU. Usé Opera+VPN para acceder y le pregunté si hablaba catalán, me respondió que por supuesto. La gente sigue sin ser consciente que a estas IAs generales no se les enseñan idiomas sino que los aprenden como parte del proceso de su objetivo principal que es responder como si fueran humanos, aprendiendo de todo.
Si una IA general aprende a diagnosticar autismo como medio para poder llegar a otro objetivo en mi opinión esa característica aprendida sufrirá de menos sesgos que si le han preparado todo un entorno de laboratorio a medida para que aprenda a identificar el autismo, ya que esa preparación sufre de los sesgos humanos y errores sistemáticos mientras que en el aprendizaje lateral, secundario, esos sesgos es menos probable que estén ahí.
Edit: De todos modos, me imagino que están hablando de TEA grado 2 o incluso 3, el severo o muy severo, el que sale en las pruebas como el ADOS. Lo que antes se llamaba Asperger, ahora TEA grado 1, no sale en esas pruebas, o no de manera concluyente. Y si es en niñas/mujeres, ni eso.
Tiempo al tiempo.
La IA debe volverse loca con los sordos que leen los labios
Respecto a #1, totalmente de acuerdo. Que sea capaz de reproducir el comportamiento experto, como dice #7, no garantiza que la adquisición de datos no tenga un sesgo que haga fácil la clasificación para una máquina. Ojo, que el sesgo puede ser accidental e inadvertido por los investigadores, pero un 100% es muy raro de ver, sobretodo en imágenes.
Es más, te diría que el ámbito médico es uno de los campos donde ya hay muchísimos modelos de IA funcionando, muchos de ellos anteriores al boom actual derivado de Chat-GPT. Y aún con esas, siguen siendo modelos de apoyo, nunca de desplazamiento o sustitución.
No. Son capacidades distintas.
Una IA se puede entrenar para que te explique por qué ha tomado esa decisión en ese caso concreto, pero no tienes ninguna garantía que la explicación se corresponda con la realidad, no podemos saber que exista un mecanismo que correlacione lo uno con lo otro.
En ese sentido no es distinto a un ser humano, una persona puede decidir cortar con su pareja sentimental y luego puede explicarte las razones por las que lo ha hecho pero no tienes ninguna garantía que su explicación se corresponda con los motivos por los que ha cortado con su pareja. La propia persona puede estar convencida que las razones son las que te ha explicado y aún así no tienes ninguna garantía que esa decisión que tomó fuera por esos motivos.
Luego puedes intentar abordarlo desde el punto de vista material, intentar analizar neurona digital por neurona digital para intentar determinar qué patrón ha encontrado, pero hablamos de modelos cuya complejidad es tal que dudo que sea viable hacer ese análisis y sacar conclusiones que sean útiles en un contexto distinto al de esa IA, es decir, que sean útiles para un humano. En el mismo sentido a un médico que haga un diagnóstico puedes intentar ver qué actividad neuronal tuvo cuando hizo el diagnóstico pero dada la complejidad difícilmente sacarás nada concluyente y útil.
El buscador de menéame hace mucho tiempo que está roto, genera vergüenza ajena usarlo.
Y en su día google tenía indexado menéame y se podía buscar en google el contenido pero hicieron un cambio en menéame que provocó que desaparecieran los resultado del pasado y dejasen de aparecer los actuales. Un completo desastre.
Si lo hubieran querido hacer aposta no habrían conseguido el éxito que han conseguido con su manifiesta incompetencia, tiene hasta mérito.
The photography sessions for patients with ASD took place in a space dedicated to their needs, distinct from a general ophthalmology examination room. This space was designed to be warm and welcoming, thus creating a familiar environment for patients. Retinal photographs of typically developing (TD) individuals were obtained in a general ophthalmology examination room.
Esto es, las fotografías se tomaron en sitios distintos, lo que ya es muy peligroso de cara a las valoraciones. Yo he trabajado en su momento con imágenes de fondo de ojo (hace 15 años, espero que los retinógrafos hayan mejorado), y la iluminación de la imagen era muy susceptible del entorno en donde se estaba realizando.
Como dice #1, me cogería con pinzas estos resultados. Y si fuera el revisor, no habría dejado publicar este paper sin un estudio que confirmara que los dos conjuntos de imágenes no tienen diferencias estadísticas entre ellas. Puede que la red esté detectando en dónde se ha realizado la toma de la imagen, en lugar del discernir si tiene autismo o no.
Puede ser que no estén hechas en las mismas condiciones, eso sí.
When we generated the ASD screening models, we cropped 10% of the image top and bottom before resizing because most images from participants with TD had noninformative artifacts (eg, panels for age, sex, and examination date) in 10% of the top and bottom
Una imagen anotada suele cambiar la calidad de la compresión (se suele anotar sobre una imagen codificada, no cruda (raw), y vuelta a codificar, lo que añade una capa extra de borrosidad. El hecho de que sólo se haga esto en uno de los datasets es de alerta roja. Yo no habría dado permiso para publicar esto ni de broma.
La revista es Q1 y, aunque reciente, parece de buena calidad. Pero no he visto ningún otro paper relacionado con modelos de 'machine learning', así que es posible que los revisores no fueran expertos más que en el campo médico.
Estoy más a favor de mejorar modelos que hagan uso de valores clínicos para hacer predicciones, que modelos que tengan en cuenta texto, para estos casos.
Hasta donde yo tengo entendido, chatgpt no aprendio ingles, ni espanol ni mucho menos catalan. Las respuestas en cualquier idioma vienen por una sucesion de palabras una tras otra segun un analisis probablisitico. Mientras mas fuentes hay de un determinado tema mas muestas hay para realizar dicho lanzamiento de dados y predecir la siguiente palabra.
La AI no tiene idea de lo que te esta diciendo te dice lo que es mas probable, creo que hay gente que no entiende este punto.
Si le preguntas algo en un idioma, el analysis probabilistico de las respuestas posibles encontrara que es mas probable responder en ese idioma.
Yo intente usar chatgpt para ahorrarme trabajo en google con tecnologias de punta, y encontre 2 cosas: o que me daba respuestas totalmente incongruentes pero que "sonaban" razonables o que literalmente me daba un copy paste de la unica fuente disponile.
Tal vez hay que hacer un pensamiento lateral y buscar datos en otros lado, por ejemplo la relacion de personas con maquinas.
Por ejemplo con el ordenador o el coche. Pueden analizar errores de tecleo, divagaciones con el raton. A la vacas les ponen un podometro para detectar si tiene algun problema o esta en celo ( solo hay horas para aprovecharlo)
En el coche se podrian detectar brusquedades, falta de prevision, conduccion mas impetuosa, etc.
Seguro que proporporciona mas datos que lo medicos.
En centros sanitarios tal vez se podria pensar en tomar otras forms de diagnostico, como termografias.
En los tiempos de Espera se podria poner una serie de pruebas desatendidas para aprovechar ese tiempo. Tambien la forma de andar segun llegan al centro, las escaleras supone un esfuerzo mas puede que revelen mas. Si se vistes y desvisten es una tarea compleja que puede ser informativa de algun problema.
Seria peliagudo grabar al la gente asi, pero tal vez se podria guardar un esqueleto esquematico de los movimientos.
#34 Yo creo que es un interferencia grande el diagnostico anterior. Lo cientifico seria que otro medico diagnosticase a ciegas, para ver si la conclusion es parecida. Incluso medico malo pueden enmascarar su incompetencia, diciendo lo mismo el diagnostico anterior.
Y si varios medico lo hacen el siguiente pensará que no se pueden haber equivocado los medicos anteriores o alguno de ellos lo habra cuestionado/puesto en duda/comprobado.
#5 La gente sigue sin ser consciente que a estas IAs generales no se les enseñan
Para la IA y GPTs en concreto, aparte del autoaprendizaje, hay una legion de gente corrigiendo a la IA para que aprenda que resultados son correctos o no. No sé si en algun momento le han corregido las frases para que sean correctas.
Basicamete, son motores de texto predictivos muy potentes, con un tecnologia muy diferente.
www.youtube.com/watch?v=aL-EmKuB078
#6 No se si son fotos o video. Yo creo que le patron de movimiento de un autista puede ser muy revelador. Si es evidente en casos graves, tal vez una IA entrenada puede detectar los casos mas leves.
Estaria bien que tambien detectase psicopatas.
Relacionada:
old.meneame.net/m/cultura/casualidad-algoritmo-desmuestra-puede-distin
Yo he entrado a algunas sesiones con mi hija pequeña y una cámara va grabando los ojos de la peque mientras te va enseñando vídeos en una pantalla, casi siempre dividido en varios cuadrados con imágenes distintas y ver en qué se fijan.
También se ve si en determinados vídeos llama la atención a los padres y cosas así.
( como dato, ella está adscrita ya que su hermano si es TEA )
Por si a alguien le interesa saber algo más:
bbmiradas.fundacionmiradas.org/
Hay características emergentes que requieren un análisis a alto nivel con independencia del análisis a bajo nivel que se pueda hacer sobre los elementos que lo componen.
Por ejemplo para el campo de psicología en la inmensa mayoría de los casos no tiene sentido referirse a las reacciones electroquímicas que se producen entre las neuronas del cerebro. Conocer el funcionamiento de esas reacciones electroquímicas no te aporta conocimiento útil para explicar por qué tal persona ha decidido dejar su trabajo y cambiar de sector.
Podemos conocer a la perfección cómo interactúan las partículas fundamentales en relación a los átomos compuestos por electrones y protones pero eso no nos aporta ninguna información útil para explicar por qué cae bien un actor de películas y otro nos cae como el culo.
Lo mismo ya está ocurriendo con la IA, conocer y explicar sus elementos constituyentes ya no basta para explicar sus características emergentes. El nivel de complejidad posiblemente esté lejos del cerebro humano pero ya es suficientemente elevado como para poder referirnos a su comportamiento en términos equiparables a los de los humanos, y usar palabras como aprender, saber, decir, equivocarse e incluso mentir.
Eso no es ningún problema real si el cómputo general es positivo, más si se sigue haciendo uso de verificación posterior humana.
Un error habitual es sorprenderse del tipo de errores que comete la IA apelando a que una persona jamás los cometería. Hay que darse cuenta que hay errores que un humano cometería que la IA jamás haría, por ejemplo los derivados del cansancio o de la consumición de ciertas sustancias.
En el caso de los vehículos autónomos donde que existan pueden salvar vidas es crítico que se interiorice esto que acabo de explicar para evitar frenar su introducción con argumentos débiles como los que estoy criticando.
Pero en este caso hay indicios suficientes para sospechar que este experimento tiene deficiencias que hacen que sus resultados no tengan credibilidad a menos que demuestren mediante una verificación independiente que esas deficiencias no han tenido impacto en el resultado.
Me refiero a lo que ha citado del paper @santiso en # 27: www.meneame.net/story/logran-ia-sea-capaz-diagnosticar-autismo-infanti
Y # 32: www.meneame.net/story/logran-ia-sea-capaz-diagnosticar-autismo-infanti