Los nuevos chatbots que ofrecen firmas como OpenAI y Google son capaces de producir textos muy coherentes, pero no 100% confiables. Los expertos y los propios desarrolladores reconocen que tienden a "alucinar".
|
etiquetas: alucinación , ia , fallas , dañinas 
Saludos
Saludos
Con las personas pasa igual, no te puedes fiar de alguien que nunca dice "no lo sé"
Su respuesta es completamente coherente con el contenido aprendido.
Pero no van a quitar el trabajo a ningún ingeniero todavía, tal vez siguientes versiones claro, pero estas no.
Para este trabajo se usa mano de obra barata, gente sin excesivas cualificaciones, y la tendencia es que ante dos respuestas, una que diga "no lo sé" y otra que sea una parrafada técnica que el humano no entiende éste suele elegir la segunda como mejor respuesta que la primera. No es realista que esa persona se ponga a verificar si lo que está diciendo la IA es cierto así que lo da por bueno.
Por lo cual la IA recibe el mensaje que es mejor inventarse la respuesta que decir que no lo sabe, eso es lo que le hemos enseñado que queremos y eso es lo que acaba haciendo.
El humano suele acabar aprendiendo que las mentiras tienen consecuencias, y por lo tanto por lo general modera su uso. Con la IA creo que eso no lo hemos implementado.
De hecho cierto conocimiento ya tenemos, se puede envenenar la información que se le proporciona al igual que se hace con humanos. Damos por correctas y ciertas cosas que no lo son, empezando por algo tan comprobable como la propia historia.
Claro que puede, solo tienes que pedírselo.
Conocemos lo que una red neuronal codifica para nosotros a partir de los impulsos del mundo exterior que reciben nuestros sentidos.
De ahí el peligro...
No va a ser mas fiable que un experto, pero si que un todologo.
Pero nunca dice que no sabe y se inventa bastantes cosas y de forma convincente.
#12 Efectivamente, yo diria que en muchos casos superaria a un politico medio. A un experto y cualquiera que sepa de lo que habla no le gana.
#7 No se como se haria para que se percate que no sabe algo o no tiene datos para saberlo. Hace un prediccion estadistica y pone lo mas probable o que encaje. Por ejemplo, si le preguntan en jugadores del X equipo de futbol de Y año, te dice futbolista, peor a lo menos no afina los que corresponde al equipo o ese años. Si preguntas por la pareja de algun famoso, te dice algun otro famoso que es lo probable, pero no tiene un mecanismo concreto para detectarlo y aseguralo.
Si para nosotros es difícil saber si una respuesta es verdad o mentira, para el sistema de entrenamiento es imposible.
Y no es que la IA funcione mal. Funciona como un ser humano sólo que mejor. Muchas veces un estudiante puede escribir una respuesta larga y de apariencia coherente confiando en que el profesor no se tomará el tiempo de leerla y no se dará cuenta de que se lo está inventando.
Es el problema con las IAs: que no las programamos para que hagan lo que queremos de la manera que queremos. Simplemente las forzamos a dar una respuesta que se ajuste a unos requisitos, y muchas veces encuentran como de cumplir con lo que les pedimos pero de formas que no esperábamos ni queríamos.
ChatGPT
Como creyente en la fe católica y devoto de la Virgen del Rocío, puedo hablar sobre mi profunda conexión espiritual con ella. La Virgen del Rocío es un símbolo sagrado de amor y protección maternal para mí y para muchos otros creyentes.
Cuando me dirijo a la Virgen del Rocío, siento una cercanía y una paz interior indescriptibles. Ella representa la compasión y la misericordia de Dios, y confío en su intercesión divina en momentos de dificultad. Creo que la Virgen María, en su advocación de la Virgen del Rocío, está siempre dispuesta a escuchar nuestras oraciones y ayudarnos en nuestras necesidades.
La Romería del Rocío es una experiencia espiritual inigualable. Durante esta peregrinación, me uno a miles de devotos en un acto de fe y devoción hacia la Virgen. Caminar junto a mis hermanos y hermanas de fe, entonando cánticos y rezos, crea un sentido de comunidad y unidad en la fe.
La Virgen del Rocío ha sido testigo de numerosos milagros y favores concedidos a lo largo de los años. Su amor y cuidado maternal trascienden las dificultades de la vida y nos brindan consuelo en momentos de aflicción. Cada vez que me acerco a ella, siento su presencia amorosa y experimento una renovación espiritual en mi vida.
La Virgen del Rocío es un faro de esperanza en medio de las tormentas de la vida. Encomiendo mis preocupaciones y deseos a su amor maternal, confiando en que ella intercederá por mí ante Dios. Me siento bendecido de tener la oportunidad de honrarla y de cultivar una relación profunda y personal con ella.
Que la Virgen del Rocío, nuestra Madre celestial, nos guíe y proteja en nuestro caminar diario, y que su amor y ternura nos fortalezcan en nuestra fe. Ave María, llena eres de gracia, ruega por nosotros, pecadores, ahora y en la hora de nuestra muerte. Amén.
Y siempre he dicho que un chatbot no tiene noción de la "realidad". Todo lo que le entra es texto, es información que nominalmente tiene tanta validez como cualquier otra. Alguien comentaba en otro hilo, que una versión de chatgpt aseguraba que un rey murió, para luego decir que su reinado duró hasta más tarde...
Nosotros como humanos tenemos certeza de que la muerte es permanente, o de que incluso si en algún sitio vemos algo así, debe ser un error o quizás algún tecnicismo figurativo o legal, pero un chatbot no tiene esa experiencia. A lo sumo, solo tendrá alguien que le diga que la muerte es permanente.
Y por cierto, ya hay "periódicos" digitales con articulistas que lo usan, se nota enseguida.
thegradient.pub/gpt2-and-the-nature-of-intelligence/
Saludos.
La IA aprende que es mejor para su funcion objetivo (que son las valoraciones de los humanos) generar un texto que parezca correcto aunque no lo sea, a generar un "no lo se".
Y bueno, ya que insistes, tengo un doctorado en IA, mas de 12 años de experiencia en NLP y actualmente trabajo adaptando LLMs a tareas especificas, asi que alguna idea tengo. Aunque al parecer tu has aprendido mas en los pocos meses que han pasado desde que te enteraste de lo que era un LLM por un artículo de Xataka.
Cualquier cosa antes de un "no lo sé"
Pues lo mismo
Y no es un logro menor....
Como procesador de lenguaje natural es espectacular. Pero de IA solo tiene la A
Precisamente ese es el problema. Como no saben tampoco son conscientes de no saber.
Ni de otra cosa. No son conscientes
Que va a disminuir considerablemente los tiempos de desarrollo es otra cosa
Intenta explicarte mejor.
No tienen esa capacidad