La inteligencia artificial aprende a mentir

Una investigación revela que los sistemas de inteligencia artificial especializados en tareas lingüísticas como ChatGPT (Chat Generative Pre-trained Transformer) pueden generar artículos académicos fraudulentos que parecen reflejar investigaciones auténticas cuando en realidad se trata de embustes. Este descubrimiento plantea temores sobre el uso de inteligencia artificial por personas sin escrúpulos para engañar a la comunidad científica con investigaciones falsas. www.jmir.org/2023/1/e46924/

[#2 DaiTakara]

Entre alucinar datos (IA) y mentir (humanos) hay una diferencia sustancial marcada por la intencionalidad. No puedo más que votarla errónea.

[#3 onainigo]

#2 Si un investigador escribe un paper fraudulento con datos falsos a sabiendas se le acusa de mentir. Esto es lo que se ve en el paper que las IAs pueden hacer. Llamalo como te parezca

[#5 manbobi]

Aprende? Lo ha hecho desdeel principio

[#6 libroblanco]

Eso ha sucedido siempre (no es que mientan) sino que generan contenidos basado en sus datos de entrenamiento.
Irrelevante

[#7 DaiTakara]

#3 Mentir implica intencionalidad, que es algo puramente humano... por el momento. La IA no miente, alucina datos. Hay una diferencia radical marcada por la intencionalidad. La IA hace lo que sea para completar algo, lo que a veces implica usar datos que no son reales o ponerle siete dedos a una mano, pero eso no es mentir (la IA no publicará datos falsos como reales, en todo caso lo hará un humano). El día que las IAs mientan habremos llegado por fin a la inteligencia artificial general, y será un problema enorme, porque implicará que se han salido de nuestro control.

[#8 onainigo]

#7 Llamalo X, el resultado es el mismo.

[#9 DaiTakara]

#8 No, alucinar datos es un tipo de error. Mentir es ocultar u omitir algo a sabiendas. Es extremadamente diferente. No es lo mismo que le preguntes a un niño cuánto son 4+4 y te responda 5 (errar/alucinar), a que le preguntes a un doctor en matemáticas cuánto son 2+2 y se monte un guión perfecto para convencerte de que son 5 (mentir).

Tampoco el resultado es el mismo. Si la IA alucina un dato y un humano lo usa, bien por ausencia de comprobación o bien porque pretende mentir intencionadamente... la IA no ha mentido, ha cometido un error o una alucinación. El que te ha mentido ha sido el ser humano utilizando esos datos. Creo que la diferencia es clara, pero no se si la estoy explicando adecuadamente para que se entienda.

[#10 onainigo]

#9 Que ya te he entendido, llamalo como quieras, pero esto no es contar un cuento o un chascarrillo.

Te recuerdo que la relación entre vacunas y autismo se fundamenta en un paper falso que se retracto al que aún siguen haciendo referencia para justificar el bulo.

[#11 DaiTakara]

#8 Nótese que en el paper que has incluído junto a la noticia nunca se habla de mentir, pero si de alucinar. Lo de la IA mentirosa es una mentira del artículo periodístico.

Que seguro llegará, pero no todavía.

[#12 DaiTakara]

#10 ¿Qué tienen que ver los fraudes humanos con la capacidad de mentir de la IA?

[#13 onainigo]

#12 ¿No ves la importancia de que pueda crear papers que solamente científicos especializados, con mucho tiempo y dedicación pueda demostrar cómo fraudulentos, tiempo después de haberse esparcido por el mundo?

[#14 DaiTakara]

#13 Sí, claro que lo veo. Pero para eso no hace falta la IA (tú mismo has puesto el ejemplo de las vacunas y el autismo), y culpar a la IA de ello es quitar responsabilidad a los humanos que Sí que mienten.

En cualquier caso, se supone que la revisión por pares está precisamente para evitar esto de lo que hablamos...

[#15 chocoleches]

La IA no miente, se inventa algún dato, pero es que no da para más ... de momento.

Me recuerda a mí hablando italiano.

[#16 onainigo]

#14 En el caso del paper de las vacunas no funcionó la revisión por pares y el paper se publicó.
Qué antes hubiese la posibilidad de que un mal científico hiciese algo así, no es comparable a que cualquiera con mala intención, caulquier humano, pueda hacer lo mismo ayudándose de un IA.
Creo que la importancia y la diferencia es sustancial.

[#17 Charles_Dexter_Ward]

#3 sí una IA miente a sabiendas en un paper científico es porque un humano así se lo ha pedido. También es cierto que las IAs inventan y se equivocan por defecto.

[#18 onainigo]

#17 Si. Y ahora eso lo puede hacer, no solamente un científico malintencionado, si no cualquier tuercevotas manipulador.

[#19 Charles_Dexter_Ward]

#18 pero eso no es "aprender a mentir" es una funcionalidad que ya conocemos. El peligro está ahí y lo sabemos. Sabemos de las imágenes creadas por IAs, los vídeos.

[#20 onainigo]

#19 Creo que es una discusión semántica que al final no aporta demasiado. Mentir, inventar fabular,alucinar, etc. La cuestión es que puede hacer papers que solo unos pocos serían capaces de refutar, puede hacer más papers que la capacidad de refutación existente.

[#21 dasu]

Esta es la funcionalidad normal de una red neuronal. Es un modelo "generativo" que adivina la continuación de algo en base a los ejemplos que le han parametrizado. No tiene porque corresponder a nada real, solo será aparentemente similar.

Mentir es otra cosa.

[#22 sxentinel]

#1 Tu dales ideas...

Que ya lo que nos faltaba.

[#23 sliana]

no es mentir, es generar un texto en base a probabilidades con aspecto de ser correcto. igual la gente se cree que los estudios de quienes escriben articulos academicos son de adorno.

[#24 awezoom]

El problema es la cantidad de gente generando contenido con ia para publicarlo en internet atraído por las fórmulas del “hágase rico con la IA”… contenido que pasará a formar parte del futuro banco de datos con el que se entrenará a las futuras IAs que aprenderán un montón de datos ya alucinados…

[#25 rojo_separatista]

#7, tienes razón con la diferencia de mentir o alucinar. Pero para llegar a una AGI no hace falta intencionalidad, sino ser capaz de resolver todos los problemas mejor que un ser humano independiente de la intencionalidad. Es más, creo que las IAs jamás deberían tener intencionalidad en el sentido que la tenemos los seres humanos.