Cognition Labs ha lanzado Devin, una herramienta de inteligencia artificial que puede programar de forma autónoma, completar trabajos de ingeniería en Upwork e incluso ajustar sus propios modelos de inteligencia artificial. Devin lleva la premisa de GitHub y la herramienta de desarrollo Copilot de Microsoft un paso más allá, ya que es capaz de finalizar proyectos completos por sí solo sin intervención humana.
|
etiquetas: ia , desarrollo 
La mayoría de problemas que abordamos tienen cargas cognitivas superiores a lo que puede mover ahora mismo cualquier LLM. Si los GPT no escalan mucho mas, alguien va a tener que plantearse como trocearlo todo de forma que el LLM pueda manejarlo. Y eso sucederá en todas partes a la vez.
En cambio, si la arquitectura de transformers escala, pasará lo que tu dices, y el paper "Attention Is All You Need", será el paper mas importante de la historia de la humanidad.
Siempre digo que hay proyectos enormes de gente que usa librerías de software que ni se han molestado en revisar (incluso siendo de código abierto) y que no comprenden lo que hace su código por debajo y tiene montón de bugs se la van a jugar a generar software aún más grande porque la IA les genera prácticamente todo el proyecto.
Me la juego a que va a haber trabajo revisando eso y creando código generado especialmente para entrenar IA. Y me la juego que aparecerán exploit para aplicaciones generadas con ciertos modelos de IA, porque compartirán cierta vulnerabilidad. Esto ya ha pasado alguna vez con aplicaciones hechas con el mismo framework o librerías. Me viene a la cabeza cierta vulnerabilidad en PHPnuke ne la que todos los portales creados con dicha herramienta eran vulnerables y se atacaron un montón.
Lo que llamas trocear los modelos es algo que ya está trillado, se llaman MoE o Mixture of Experts y GPT-4 se bass en esto.
He visto lo que está pasando y trabajo en la industria. La escalabilidad de los transformers no está demostrada matemáticamente.
Yann LeCun opina que los transformers no escalan, y que no conducirán a la AGI simplemente iterando sobre ellos, por nombrar a alguien poco sospechoso de ignorante.
Eso de que avanza mes a mes, es mentira. Estamos consolidando los frutos de unos avances. La escalabilidad es hasta donde permiten esos avances.
Lo que avanza mes a mes es la aplicación de los modelos existentes, pero eso es ingeniera, y llegará tan lejos como lleguen los transformers.
Las arquitercturas MoE solo sirven para optimizar para un tipo de problema. Pero eso no resuelve los potenciales topes de escalabilidad que encuentren los transformers. Te permiten exprimir un poco mas la complejidad que la red maneja ahora, enfocada hacía algo mas específico, pero el tope es el mismo. Y si tu propuesta es expandir la arquitectura MoE para que sea jerarquica y forme a su vez, otro modelo en si mismo, hecho de los diferentes expertos... simplemente no tenemos aún ciencia para hacer eso, y eso sería un ejemplo de por donde podrían intentar escalar los transformers, pero nada de eso tiene ninguna garantía temporal de cuando va a pasar. Los rapidos avances no están garantizados en el tiempo y ya hubo un invierno de la IA antes por razones similares.
Hubiese sido genial poder tener este intercambio sin tonito de superioridad por tu parte, pero como siempre, esto es meneame
Si te interesa el tema, te recomiendo leer:
twitter.com/ylecun/status/1526673232635600897?lang=en
Y sí, guau, progresión geométrica, logarítmica la que quieras, pero no estamos ante el mismo paradigma en eficiencia que la de los microprocesadores que van doblando: si ya los centros de datos son un sumidero de energía y agua, los requisitos para que 1000 niños rata hagan sus estampitas vagas requieren otro suicidio ambiental a añadir en el que ya estamos, en 8 años a este ritmo estaré con un trabuco reventando a cualquiera que ya ni sepa hablar sin el cacharrín "inteligente". Ya ni te digo lo que es hoy día corregir trabajos de clase, tremebundo avance para la especie y tal y cual que nos salvará.
Un 40% de vulnerabilidades graves es jarto, y eso que es GitHub la fuente "de confianza"
En cambio un fontanero te cobra 60-80€ la hora, su hardware le dura muchos más años, apenas requieren formación en nuevas tecnologías, y respecto a la competencia... pues prueba a buscar uno competente que te vas a volver loco, y te va a dar fecha a meses vista. Las profesiones "FP" son las que más y mejor salida tienen. A día de hoy no veo a robots ni inteligencias artificiales arreglando fugas de agua o moviendo/tapando muebles para pintar un salón.
Están tan avanzadas las IA como para desarrollar proyectos enteros ellas solas?
Yo he preguntado 3 veces a Chat gpt y regular. De Python me escribió un trozo de código que no solo no solucionaba el problema que le planteaba, es que no se podía ejecutar porque daba error. Y de PLSQL sí me resolvió una duda de 2, aunque tampoco es que fuese muy óptima la solución que planteaba.
No sé, no tengo ninguna experiencia con las IA, pero había escuchado maravillas de la gente y me ha parecido que están más verdes de lo que creía.
Cuando ya llevaba varios años trabajando vi que no era así, que la tecnología en realidad se estaba usando para hacer más
trabajo en el mismo tiempo.
Porque queremos más. Siempre queremos más. Por debajo está el 0. Por encima no hay límite.
La humanidad no se va a autocontener para que podamos vivir bien, holgadamente bien pero sin pretensiones. No va en nuestra naturaleza.
Ahora con las IA parece que hay algo de luz en ese sueño de que realmente esto puede acabar con el trabajo. Y la ventaja, paradójicamente, es que va a un ritmo mucho mayor del que permitiría crear las estructuras sociales que soportarían ese desajuste.
La rbu va a llegar. Pero va a costar sudor, lágrimas y fuego, me temo. Va a llegar por las malas, pero llegará.
Las grandes beneficiarias de las IA deberán sufragar con impuestos el coste de esa rbu. Es que no hay otra.
Lo de que la escalabilidad no mejora lo dices tú, el último ejemplo lo tienes con SORA en el que los mismos autores dicen que no han llegado al tope superior.
Y no, las mejoras no son mes a mes, sino semana a semana, Suno v3, Sora, ayer Midjourney con la consistencia de carácteres, lo de esta noticia, en los próximos meses tendremos GPT-5, vamos que esto no para.
En lo que sí concuerdo es en lo de la AGI, porque estoy completamente convencido que haga lo que haga una IA habrá gente que seguirá moviendo la portería y diciendo que no es una AGI. Yo me conformo con la definición que da OpenAI y que es una inteligencia capaz de hacer la mayoría de las tareas que hacemos los seres humanos y para eso no creo que haga falta tanto.
youtube.com/shorts/sAWAaG5hKNc?si=sE5i-WM4wOX0I6Kd
Insisto en decirte que los avances que citas no son avances teoricos, son avances ingenierísticos, de aplicación, no de descubrimiento.
Yo, personalmente, opino que ahora mismo es imposible saber cual va a ser el tope de escalabilidad de los transformers. Pero a la vez, opino que nos vamos a sorprender de la cantidad de tareas que con las capacidades ACTUALES, ya se pueden automatizar simplemente enfocándolas de otra forma.
La AGI/HLAI llegará cuando puedas reemplazar trabajadores por robots sin tener que adaptar el proceso para ello, así de simple.
Por ejemplo, la gente sigue yendo a conciertos, aunque la música se escuche mejor con unos cascos. La gente no va a conciertos por la música.
De la misma forma, aunque la IA pueda hacer algo, en algunos casos la gente seguirá prefiriendo que lo haga una persona.
— ¡Hombre! ¡Qué te cuentas!
— Aquí estoy, acabo de volver de Brasil.
— En Brasil nada más hay futbolistas y putas.
— Vengo de visitar a mis suegros, mi mujer es brasileña.
— Ah, ¿y en qué equipo juega?
¿Produce algo tangible un futbolista? No. Pero ganan millones y no van a ser reemplazados por robots, aunque los robots jueguen mejor. Así con muchas otras cosas.
Cada vez hay más gente haciendo “contenido” en Internet. Tendrás
1. frikis ingenieros desarrollando y manteniendo la IA.
2. managers, empresarios, inversores, etc. exprimiendo a los ingenieros.
3. resto de gente por el “factor humano.”
Cosa que puede tardar siglos, o días. Mamba es la última sorpresa.
Diga…
El proceso de aprender de las IAs es la clave, si saben buscar para seguir aprendiendo no tenemos ninguna posibilidad.
Con lo de la renta básica hay una variable que es un problema, la falta de recursos y el cambio climático, lo de Gaza no está tan lejos.
Somos muy limitados aunque nos creamos muy inteligentes. Es cuestión de tiempo que vayan cayendo una a una todas las tareas en las que somos mejores que las máquinas.
Hay una maldición china que dice: Ojalá vivas tiempos interesantes. Y por lo que se ve, se presentan tiempos interesantes.
Así contado puede dar mucho miedo, pero claro, es que nadie se había parado a pensar que el 90% del trabajo de esos abogados era repetitivo y descerebrado hasta gritar basta, el valor añadido de tener a un tío con carrera rellenando plantillas era prácticamente 0, su trabajo podrían hacerlo 4 auxiliares administrativos y un abogado en vez de 5 abogados.
Me pregunto si alguna empresa en España estará ya avanzando en este tema, que aquí las gestorías administrativas se hacen de oro en comparación con otros países.
Si ningún humano programa y resuelve los errores no creo que la IA se ponga a ser creativa y lo arregle igual que el humano que se atasca y se pasa 8 horas haciendo un debug salvaje, probando todo lo imaginable hasta que da con la tecla. Todavía estamos muy lejos de eso.
El día que hagan eso y lo hagan bien, entonces sí que nos tenemos que poner a reciclar programadores.
1) Sí, el hardware de un fontanero dura años y es económico
2) El nivel de formación es mínimo, como no te metas en instalaciones de aires acondicionados industriales y demás, un niño de 10 años podría aprender lo que es necesario
3) 60-80€ la hora es un poco exagerado, al menos en mi zona, pero los 50€ sí los cobran
PERO sin embargo:
4) un fontanero tiene que meter la mano en la mierda, literalmente, pasar calor y frío según la época del año y le duele la espalda de pasar el tiempo en posiciones forzadas
5) la obsolescencia de los fontaneros y demás profesiones manuales, llegará en cuanto aparezcan robots de bajo coste capaces de realizar esas tareas. El software para esos robots está ahí ya, el hardware también, pero falla el precio
Por ello, no recomendaría a nadie con la capacidad de cursar una ingeniería que se pusiera a hacer fontaneria. No, porque al fin y al cabo a las IA vamos a tener que supervisarlas los humanos y adivina quién supervisará al robot que ande por casa ajena reparando fugas, ¿el fontanero o el ingeniero?
PD: mi experiencia personal con ChatGPT 4 es que sí se puede llegar a realizar un proyecto completo mediano, pero hay que ir por pasos: primero le pides que te haga los interfaces (incluso diviendo la tarea en varias partes), luego le explicas cómo son los interfaces y vas uno a uno pidiendo que te haga el código de backend, luego le pides tests unitarios, etc. Y así, al final construyes algo manejable.
Pero ojalá que lo saquen y que sean eficientes y competitivos.
¿Crees que cualquiera sabrá programar en inglés?
Una puta mierda. Frameworks y soybros haciendo basura con NodeJS pidiendo 20X más requisitos. Cuando un puto script en awk hace lo mismo usando 2000x menos CPU y tirando en una tostadora ARMv5 con Busybox.
gopher://bitreich.org
suckless.org
r-36.net
codemadness.org
cat-v.org
2f30.org
gopher://hoi.st
y si acaso:
asindu.xyz/math-for-the-lay-man/
C, AWK, J y Joy a veces. Con esas herramientas se pueden hacer diabluras, otros necesitan IA's y CUDA's tardando meses para lo mismo vs menos de 30 minutos con código en C.
A menos de un mes de la salida de Sora deberías ser un poquito menos asertivo. Lo que vemos son nuevas aplicaciones y saltos cualitativos mes a mes. Claro si Sora no te parece un salto cualitativo ya estamos hablando con lenguajes completamente distintos.
Es imposible hoy por hoy saber hasta dónde se puede llegar con los transformers y los modelos de difusión, lo que a mi me parece es que el escenario menos probable de todos es que esta tecnología ya esté tocando techo en breve.
En relación q LeCun hace tiempo que está demostrando que está más cegado por su propio ego, que por una análisis crítico de la realidad, si repasas su trayectoria el último año se resume en poco más que "yo, yo, yo y yo", vamos que todo lo que no sean los modelos que él está desarrollando no valen para nada. Aquí va la metida de pata épica de este señor hace un mes y medio: twitter.com/ricburton/status/1758378835395932643
Obviamente él no se equivocó, somos los demás los que no lo entendimos, así de humilde es.
Por lo menos agradezco que no me hayas citado a Gary Marcus como experto en IA.
Por otro lado hay muchos expertos que dicen lo contrario:
- Geoffrey Hinton
twitter.com/geoffreyhinton/status/1653687894534504451?lang=ca
- Andrej Karpathy
twitter.com/karpathy/status/1663392621690249218
- Demis Hassabis
www.businessinsider.es/jefe-google-deepmind-predice-ia-equiparable-ser
- Joshua Bengio
yoshuabengio.org/2023/08/12/personal-and-psychological-dimensions-of-a
Cuando llegue ese momento, un desarrollador de software podrá estar preocupado por su trabajo. "Podrán prescindir de mí", o, más bien, "prescindirán de mí". Y, por tanto, algunas sugerencias del tipo "habrá que gravar más al capital, porque los rendimientos del trabajo se reducirán enormemente".
Pero no sé si nos hemos parado a pensar que cuando llegue ese momento, no solo se podría prescindir de los departamentos de ingeniería o desarrollo, sino de absolutamente todo. Es decir, dejando a un lado trabajos manuales que tienen una problemática de automatización diferente (mecánica), centrándonos directamente en empresas "de oficina".
¿Quién quedaría?
¿Los managers? No resultarían necesarios, no tendrían equipos que gestionar.
¿Los CEO? Si se puede sustituir la ingeniería, se puede sustituir la labor del CEO.
Vale, entonces quedarán los propietarios, ¿no? Los dueños del capital, ¿cierto?
Pues hasta en eso tengo mis dudas. Si la IA puede sustituir por completo todo el proceso productivo intelectual y generar beneficios de forma automática, ¿en qué punto es necesario el que aporta el capital? ¿Qué impide a la IA emanciparse y generar su propio capital, distanciándose de los propietarios humanos en una brecha cada vez mayor hasta que estos dejen de forma parte del mercado por completo?
Cuando se llegue a ese punto del que hablamos, pensamos que el conflicto será entre los trabajadores y los propietarios del capital. Pero considero que no es así. Considero que no habrá conflicto alguno porque absolutamente todos seremos sustituibles. Y, por tanto, la única forma de beneficiarnos de la IA será justamente repartir la riqueza que esta genera. Y no habiendo ya distinciones entre roles humanos relacionados con el mercado, no habrá motivo posible para que esa distribución no sea equitativa.
Luego, tras la explosión, estará 2 horas reseteando el router para ver por qué ha perdido la conexión con el robot
Y si, es una maldición
en.wikipedia.org/wiki/May_you_live_in_interesting_times