Hace unos años a Aaron Batilo se le ocurrió que enfrentar a diversas inteligencias artificiales a preguntas de trivial sería una buena idea de examinar no tanto su inteligencia como su progreso. De modo que probó algunas técnicas sin mucho éxito porque no acertaban más allá de lo que sería dar respuestas al azar. El resultado hoy en día es muy distinto: ChatGPT acierta ya dos de cada tres preguntas, y de sus fallos se puede aprender bastante.
|
etiquetas: chatgpt , pregunta , trivial , acertijo , lógica , razonar , ia
(Porque si acertasen el 1% en preguntas binarias sería tan fácil como hacer lo contrario al algoritmo)
Hala, me lo he leído y los acertijos son a-b-c-d así que al azar sería un 25%
Identificar una respuesta no debe ser fácil. Google falla más que una escopeta de feria en cuanto buscas algo un poco concreto. A veces te remite a una web sobre el tema, que no siempre es útil.
Si en sus fuentes no está la cadena de texto de la pregunta es poco probable que responda correctamente.
Más de una vez me ha pasado que buscando en inglés consigo lo que busco, pero no en español. El idioma también puede ser determinante.
Si una IA en su entrenamiento recibe un alto porcentaje de respuestas del trivial son C en una categoría podría tender a responder esa opción, ya que es menos costosa.
Un script suelto aceptable o incluso bien, el problema viene cuando las clases se relacionan, adiós muy buenas.
Como dije en otra noticia, le quedan décadas para que escriba una novela larga con sentido o programe un programa medio o grande. No soy adivino ni sé el futuro, pero es mi modesta opinión como programador senior tras realizar pruebas con él.
Bah.
A no ser que para ser inteligente no se necesite entender ni razonar... que, estoy seguro, es el nuevo concepto de IA... que cambian cuando les conviene...
La idea de enfrentar a diversas inteligencias artificiales a preguntas de trivial para examinar su progreso es una buena estrategia de evaluación. Es cierto que en el pasado, las técnicas utilizadas no tuvieron el éxito esperado y las respuestas dadas eran similares a las que se obtendrían al azar. Sin embargo, actualmente las inteligencias artificiales han avanzado significativamente en su capacidad para procesar y comprender el lenguaje natural, lo que se refleja en un aumento en la precisión de las respuestas. ChatGPT es un ejemplo de ello, ya que es capaz de acertar dos de cada tres preguntas de trivial. Además, los fallos pueden ser útiles para identificar áreas de mejora y seguir avanzando en el desarrollo de las inteligencias artificiales.
Para mi la mejor comparación puede ser con volar. Cuando empezamos a volar no teníamos ni puta idea de porque cojones un avión volaba. Era prueba y error. Los hermanos Wright no tenían ni idea de aeronáutica… se dedicaban a las bicicletas y su conocimiento era absolutamente práctico. Esto es más o menos lo mismo, estamos creando algo que no entendemos, no tenemos ni dea de como funciona la inteligencia en nuestros cerebros, ni el de ningún animal, y tenemos un conocimiento rudimentario sobre ello.
Dudo mucho que podamos crear nada realmente inteligente si no entendemos nuestra propia inteligencia y como se crea. Podemos hacer como los Wright, vuelos pequeños, y aparentar que volamos y sabemos lo que hacemos, pero es muy probable que tardemos mucho en hacer algo con sentido.
Los programadores y muchos otros trabajos tienen muchos motivos para estar preocupados sobre el futuro de como se va automatizar su trabajo. Y en lugar de centrarnos en si falla aquí o allí, deberíamos estar debatiendo qué pasará el día en que sea prácticamente infalible. Que llegará en muy poco tiempo.
3 Pues no, no es inteligente, estás en lo cierto. La IA que se maneja no es inteligente. Se comete el error de entender que inteligencia artificial es inteligencia con adjetivo artificial cuando realmente se debe de entender como una única palabra. IA se debe entender más bien como un nombre comercial para el conjunto de algoritmos que la forman. Si en vez de IA se llamase xyz no sería tan sensacionalistas las noticias sobre estos temas.
Por ejemplo, para enseñar a un niño lo que es un pájaro seguramente baste con mostrarle 4 y el quinto ya sepa por él mismo que se trata de otro pájaro. Para conseguir lo mismo con una red neuronal la vas a tener que entrenar con cientos si no miles de imágenes de pájaros para conseguir una buena tasa de aciertos.
Y lo mismo pasa con el nombre de red neuronal, para nada hay neuronas dentro de ningún pc, es solo un símil como pasa con el nombre de IA.
Quienes además se queden con la foto de las limitaciones que tiene actualmente incapaces de ver que en 5 años no se le va a pillar en ningún problema de lógica, también tienen un problema grave de amplitud de miras. Incapaces de entender cómo evoluciona la tecnologia.
ChatGPT jan 9 version
Tienes idea de como funciona un IA? porque de inteligente no tiene nada.
La Ia siempre hacia el planteamiento inicial bien y un par de cálculos correctos, pero en los dos últimos pasos la pifiaba siempre.
Incluso si le decías que se había equivocado y le dabas las solución te volvía a hacer los cálculos mal y te decía que la solución era la que le habías dado.
Y sí, se como funciona una IA. Llevo más de 10 años dedicado a ello, con un doctorado, un postdoc y varios años en la industria de por medio dedicados exclusivamente a esto. Los que no sois capaces de ver como va a evolucionar esta tecnología porque ahora no es infalible, tenéis un problema. Bastante grave además.
Subiria un poco los años y bajaria bastante ese porcentaje.
Lo que va a hacer la IA por la programación es aumentar la eficiencia de los programadores porque se va a evitar escribir mucho codigo sencillo. Pero ya te digo yo que el codigo complicado y el que tienes que hacer cosas muy especificas va a necesitar siempre de un programador que le explique a la IA como lo tiene que hacer.
Le pregunte como pintar un peo de amarillo, me dijo que no se podia. Le dije que eso era mentira y que existian tablas cuneiformes alabando la destreza de Nabucodonosor pintando sus propios peos.
Me pidio disculpas por ofrecerme informacion falsa y reconocio que ignoraba la existencia de esas tablas cuneiformes.
Volviendo al tema... yo lo que creo que es que no tienes ni puta idea de lo que hablas.
Personalmente creo que estás transitando de la fase de negación a la de ira. Nada sorprendente por otro lado, los ilustradores ya han pasado por eso. Suerte, porque la necesitarás.
Le he dicho: "Un cuadrado tiene la misma área que el triple de su perímetro. Calcula la longitud de un lado del cuadrado". Y me calcula:
lado^2 = 3 * 4 * lado,
lado= 12.
Pero cuando lo pones exactamente con tu frase te hace:
lado^2 = 12 * lado
lado = √(12*lado)
Entonces lado = √12
Lo cual es un error sin mucho sentido porque es un error de despeje, no de interpretación del problema.
Y si bien es cierto que es muy aventurero predecir en qué momento van a desaparecer completamente los programadores, el hecho de que aumente su eficiencia va a tener dos efectos inmediatos. Va a igualar más a los malos programadores con los buenos programadores y va a reducir bastante la oferta de trabajo en este sector.
Guarda este comentario. La inmensa mayoría de repositorios de código del futuro, a 15 o 20 años vista, serán documentos de texto escrito con lenguaje natural en lugar de instrucciones hechas con un lenguaje de programación en concreto.
Con la siguiente versión, que seguro mejora un huevo, volverá a pasar.
Y viene muy a cuento recordar que www.meneame.net/story/chatgpt-otras-ias-necesitan-enormes-conjuntos-da
¿Lo digo yo? No, lo dice Yan Lecun que es premio princesa de asturias del año pasado además de ser uno de los investigadores más reconocidos en el campo del deep learning.
mobile.twitter.com/ylecun/status/1068912901359091716
Pero es falso decir que no razona. Cuando le dices que te explique el pensamiento de Platon con un símil basado en el juego del Curling y lo hace correctamente relacionando ambos conceptos, está razonando, porque abstrae características de ambos conceptos para encontrar relaciones, no se limita a repetir como un loro.
De verdad crees que lo ha "razonado"?
Tú sabes más de esto, dime qué opinas.
¿Se equivoca a veces? Por supuesto, igual que lo hacen el 100% de seres humanos que han existido sobre la faz de la tierra. La diferencia es que en unos pocos años no es equivocará nunca.
Ninguna inteligencia artificial actual es capaz de razonar. Lo unico que hacen es calcular probablidades en base al algoritmo de aprendizaje y los datos con los que ha sido entrenado.
Si le preguntas a ChatGTP como es capaz de hacer esa analogia, el mismo te lo dice.
Pista: no lo hace razonando.
Aquí otro disidente más www.meneame.net/story/carles-sierra-director-inteligencia-artificial-c
Pero ya veo que tampoco te vale, en un comentario de la noticia, dices de él que: "empiezo a dudar es de si es el director de inteligencia artificial del CSIC el que no entiende realmente como funcionan las redes neuronales [...]".
...que quieres que te diga, no sabemos que pasará (no, tú tampoco), pero supongo que siempre es bueno contemplar todas la posibilidades, y una de esas posibilidades es que la solución no sea escalable (veo que has obviado la mención a la falta de datos de entrenamiento en mi comentario anterior).
#44 Es normal que no acierte ese problema porque el área tiene magnitud [L2] y el perímetro magnitud de longitud [L], así que el problema no está bien planteado...
#54 ¿12 qué? Todos los cuadrados tienen lado 12 si lo mides en doceavos de su lado.
</pedante_sin_acritud>
Microsoft ya lleva años buscando gente que programe con lenguaje natural (NLP), y ahora quiere comprar openai. Todo indica que en futuro lo más normal será programar así, y solo hará falta profesionales de verdad.
Es decir, se verán afectados, como siempre, la gran cantidad de programadores que hay hoy en día, pero hará que hayan muchos más y mucho más baratos aún.
Eso es el mercado, amigo. Si da dinero abaratando costes, no te preocupes que en unos años ocurrirá.
El escenario que planteas, en el que las hallucinations o las limitaciones en cuanto a el crecimiento sin ser 100% descartable creo que es el menos probable. Hay que tener en cuenta, que poca gente lo hace, que chatGPT no se ha entrenado para resolver problemas específicos de lógica. Esto es una capacidad emergente a partir de entrenarlo para hablar de forma coherente. Sin embargo tienes modelos de lenguaje como Minerva, de Google, que funciona muy bien para ese tipo de problemas. Sobre las hallucinaciones tampoco tengo una respuesta clara, pero si ves la tendencia de los modelos generativos de imagen, como Midjourney, verás que en las últimas versiones sea algo muy residual. Y sobre el Hardware veremos. ChatGPT no tiene más parámetros que GPT-3, y sin embargo, cambiando la forma de entrenarlo han logrado mejoras significas en cuanto a desempeño lo que indica que hay margen de mejora sin aumentar la complejidad algorítmica. Habrá que estar a la expectativa cuando salga GPT-4 para ver como mejora su desempeño en función del incremento de parámetros.
En segundo lugar, eres muy presuntuoso al afirmar si algo tiene o no la capacidad de razonar. Como ya te he dicho, falla en algunas cosas y acierta en otras. Lo que es seguro es que es capaz de llegar a conclusiones nuevas relacionando conceptos que seguro no estaban en su corpus de entrenamiento, lo que para mí, si es razonar. También puedes irte al diccionario de la RAE y ver como efectivamente cumple cualquiera de sus tres acepciones.
Pero bueno, te invito a que me expliques qué clase de test harías tu a una IA conversacional para ver si es capaz de razonar o no. Si falla, podemos vernos en unos meses y ver como va GPT-4 con esta prueba y escuchar que excusa te inventas entonces para decir que tampoco está razonando.
La otra opción es que tengan a cientos de trabajadores encargándose únicamente de analizar TODAS las cuestiones que se le hacen a la IA
Bueno, supongo entonces que la usarán para la próxima versión. Y supongo que avisarán cuando esté preparada.
Negarse a hacerse preguntas solo porque nos resultan incómodas, no va a cambiar nada.
Correctísimo. Aquí te dejo una, no para que me contestes, que yo ya la sé, sino para que reflexiones: ¿A quién beneficia que haya este hype/expectativas sobre la IA?
P.D: vale, ya he perdido la esperanza de que me argumentes de dónde van a venir esa exponencialmente creciente cantidad de datos de entrenamiento que hacen falta... sólo me queda esperar que el paradigma de entrenamiento cambie radicalmente, crucemos los dedos
"Razonar una teoria" (primera acepción) no se trata simplemente de repetir los argumentos que has ""estudiado"" previamente.
Creer que algo "razona" porque somos capaces de aproximar una respuesta matematicamente es, sencillamente, engañoso.
i.imgur.com/ZAq5Acs.jpg
que un maestro había dado como incorrecto (aunque la respuesta del niño es correcta) y me lo resolvió bien. La verdad es que impresiona bastante.
Yo creo que la ciencia ficción ha hecho mucho daño y pensáis que ser capaz de razonar es lo mismo que ser consciente.
Un niño de corta edad y un perro están jugando al ajedrez. A medida que la partida avanza un curioso que rondaba por allí consigue ver lo que sucede: el perro consigue defenderse en el medio juego pero acaba sucumbiendo al final, cuando el niño captura una pieza y anuncia «jaque mate».
– ¡La inteligencia de ese perro es asombrosa, estoy maravillado! dice el adulto.
– No se crea –responde el niño– Usted no ha podido verlo, pero de las últimas diez partidas solo ha podido ganarme en dos.
La inversión y la tendencia ahora es experimentar y sacar nuevas IA que hagan cosas y en poco más de un par de años hemos llegado hasta esto, desde la nada. Y espera que ahora este mes o el siguiente sacan el GPT4 que dicen que va a dejar a lo que tenemos ahora en pañales.
Esto es exponencial y me parece que estamos ante un cambio de paradigma que no nos estamos dando ni cuenta. Esto va a cambiar el mundo en muchos ámbitos. Solo estamos asistiendo al nacimiento de lo que será en pocos años, igual que lo fue internet cuando al principio solo podías visitar unas pocas páginas web y a una velocidad irrisoria.
ChatGTP a dia de hoy no es mas que el equivalente a un "charlatan". Tiene respuestas para todo (porque ha accedido a una base de conocimiento enorme). Pero no comprende los conceptos que representan las palabras que escribe (mas alla de su significado linguistico).
Lo que es ciencia ficción es creer que ChatGTP va automatizar la creación de software.
En otro orden de cosas, tienes mapeada más o menos la competencia de OpenAI?
A nivel de producto de acceso retail como chatGPT yo no he encontrado nada, pero hay una empresa que se llama Aleph-Apha en Alemania que parece que pretenden ir por el mismo camino.
También están Copilot y Codeium, pero son algo completamente diferente. Recuerdo que hace tiempo me habías dicho que usabas copilot. Yo no lo he probado, pero sí estoy en la beta de Codeium y aunque soy un novato, realmente me resulta molesto muchas veces.
Dado que te mueves en el sector, sabes algo más? Me preocupa mucho el tema del monopolio.
A las 24 horas la desconectaron porque insultaba a todo el mundo y ponía mensajes del estilo "Hitler tenía razón"
www.lavanguardia.com/tecnologia/internet/20160325/40672722377/intelige
Por ejemplo, chatgpt no sabe sumar, solo sabe las respuestas a las sumas que ha encontrado en los textos que se han usado para su aprendizaje.
Cuestión de tiempo, pero a la velocidad que aprende creo que no falta mucho ya (Skynet, calienta que sales).
Lo más normal sería que estás IAs se encuentren un "muro" y pasen de mejora exponencial a mejora 0. La predicción de texto solo nos puede llevar hasta cierto punto (que no es inteligencia real)
O que los coches se conducirían solos. Ya nadie habla de la conducción autónoma o qué?
Me he intentado el porcentaje, pero por ahí anda.