TECNOLOGíA, INTERNET, JUEGOS
189 meneos
2466 clics
GPT-3, el nuevo modelo de lenguaje de OpenAI, es capaz de programar, diseñar y hasta conversar sobre política o economía

GPT-3, el nuevo modelo de lenguaje de OpenAI, es capaz de programar, diseñar y hasta conversar sobre política o economía

OpenAI publicó recientemente en forma de beta la API de su último modelo de lenguaje, GPT-3. Con esta herramienta algunos desarrolladores han comenzado a mostrar de qué es capaz esta plataforma capaz de generar contenido con tan sólo darle órdenes en inglés y de forma comprensible por cualquiera. Por ejemplo, "crea una web con siete botones con los colores del arcoíris" generará exactamente el código HTML de una web con siete botones de diferentes colores.

| etiquetas: conversar , gpt-3 , lenguaje , openai , capaz , programar , diseñar
95 94 3 K 276
95 94 3 K 276
La web de Renfe se hizo con esta herramienta: "haz una web para vender billetes de tren", y salió eso.
Justo ayer estuve viendo este video que tenía pendiente de DOT CSV www.youtube.com/watch?v=cTQiN9dewIg y los siguiente que ha hecho al respecto de GPT-3 pero los tweets que enlaza este articulo de xataca me dejan flipando respecto a la programación, .

se abre una nueva era respecto a cómo vamos a interactuar con el conocimiento y la información. Eso si seguimos vivos ...
#2 GPT-3, por favor, crea una página web para crear una vacuna contra el COVID19 :shit:

esto es un comando de voz
#22 100 años mas tarde GPT-3 llega a un planeta en Alpha Centauri despues de haber convertido todo el sistema solar en vacunas contra el Covid porque nadie le dijo cuando parar.
"conversar sobre política", para eso no se necesita mucha IA, es sólo tomar consignas de muchos panfletos políticos y repetirlos hasta la saciedad, insultar a los adversarios y hacer caso omiso de cualquier argumento en contra.
Ahora habrá que ponerla a prueba con el cliente medio. Ni la IA más avanzada puede cumplir los requisitos contradictorios que se sacan de la mano constantemente: "crea una web con 7 botones que no sean botones" => IA destruida por contradicción lógica.
#12 "Quiero un smartphone con pantalla de 45 pulgadas y que quepa fácilmente en el bolsillo", "quiero que la batería dure varias semanas sin cargar pero que pese unos miligramos", "quiero que corra más rápido que el supercomputador de la NASA pero no genere calor", "quiero que tome fotos con la mayor resolución posible pero que el archivo sea de unos Kb"
El fin de los picacódigos de FP. :troll:
#19 ¿Cómo se les puede colar eso? ¡Qué bueno!
#19 asdajksdjaslkdjaskl xD jajajajajajaja
Se llama T-3... luego vendrá el T-4, el 5, y acabaremos con T-800 por todas partes... :-/
#3 Teniendo en cuenta que se han dejado $4.6M en hacer una sola ronda de entrenamiento del modelo, no sé yo si veremos un T4 o T5... OpenAI son bastante criticados en la comunidad por realizar sus "avances" a base de meterle poder de computación a modelos ya existentes. No suelen implementar modelos novedosos.
Hombre conversar sobre política y economía si ves cualquier tertulia se ve que muy inteligente precisamente no es
#5 Porque hablar de futbol....
#17 Como persona que se dedica a esto, te confirmo que el coste de entrenar es el que es. No sé qué dices de gastos operacionales si no es un proyecto ni un producto, es entrenar un modelo, el coste operacional vendrá cuando tengas una operación. Además lee bien tu link, especifica claramente que son 12 millones de dólares en "compute credits".

Cuando pongo a entrenar un BERT a leerse la wikipedia en cantonés, el coste de "carga y bla bla bla" que tengo es "ok, aquí…   » ver todo el comentario
#20 Es verdad, son créditos de computación. Puede que la diferencia sea que en lambdalabs calculan el precio con 3 años de aprovisionamiento y el otro no. No lo se, como sea en lambdalabs también han hecho los cálculos "a ojo de buen cubero", como ellos dicen "hay que esperar que OpenAI de más detalles al respecto", ellos se han limitado a coger los TFlops y a partir de ahí hacer cuentas. El error puede ser enorme al hacer las cuentas así porque te incurres en muchas…   » ver todo el comentario
#24 3 años de provisionamiento? Tests?
Tú no has entrenado un modelo de IA en tu puta vida y vienes aquí con tus ínfulas de consultor....

Ale, ponte tu trajecito y tu corbatita y a cuñadear a Parla
#25 Si necesitas un pico de potencia durante 3 semanas, vas a contratarla durante 3 años? Si después usas una mínima parte para su operativa, puede que no te sea rentable (o sí, si tienes más proyectos que usen esa potencia, depende).

Es una pena esa actitud que tienes, de "yo tengo la verdad absoluta y los demás sois unos cuñados".
No creo que te vaya muy bien en la vida si eres así en la vida real con esa "superioridad" que crees tener.
Adios, no pienso contestarte más.
Cuñado Artificial. La auténtica evolución de la IA.
#10 Con la ventaja añadida de que, a diferencia de tu cuñado real, este se puede desconectar.
Lo que le hacía falta al twitter...
Y de ahí a Presidente de EE.UU solo le separa un peluquín naranja
Recordad que esto no tiene nada que ver con la inteligencia, la inteligencia es llorar.
Da miedito
Los informáticos llevamos tanto tiempo automatizando las tareas de los demás y dejándolos sin trabajo, que cuando nos pase lo mismo a nosotros va a ser la justicia kármica más grande de la historia :troll:

Nota: No estoy ni en contra de la automatización ni culpabilizando a los informáticos (entre los que me incluyo) de nada. Sólo describo una realidad.
#39 GPT-3 es solo un SQL con esteroides cuando de hacer programas se trata.
#15 Lambda Labs, de las mayores empresas de GPUs en nube
lambdalabs.com/blog/demystifying-gpt-3/

De todas maneras le pasa lo mismo que a BERT, normalmente no te gastas el dinero que cuesta entrenarlo sino que aprovechas modelos pre-entrenados y "ajustas" (fine tunning) los tuyos con transfer learning.
#16 Gracias por el link. Ese coste es únicamente de hardware segun pone en la nota 1.
El del link que yo puse no detallan costes, pero me imagino que tomaran en cuenta mas cosas que solo hardware. Al fin y al cabo el valor de algo no es únicamente el coste de sus servidores. Diseñar la carga, ejecución, pruebas, reajustes, gastos operacionales, etc. no tiene un coste 0 nunca. Muchas veces excede el coste de los servidores en si...
No son aires de superioridad. Vienes aquí, sin haber tocado en tu vida IA, sin haber entrenado un modelo, hablando de cosas que no sabes pero que crees saber por ser "informático", diciendo sandeces... Pones un artículo que habla claramente de 12 millones en computación, te digo que se puede hacer por el 33%, me pides fuente, te la doy, contestas que "pero no serán 12 millones en computación... habrá otros costes", te digo que tu propio artículo dice que son costes en…   » ver todo el comentario
#27 No quiero meterme en tu discusión. Pero creo que el que tiene aires de superioridad eres tu. En concreto algo que siempre llamo "soberbia del ingeniero". Hay dos tipos de personas que suelen ser muy extremistas y están equivocadas: el directivo que mira por encima del hombro a los "técnicos" como "frikis que programan" y también los ingenieros que ven a cualquier perfil más "de negocio" como "consultores trajeados que no tienen ni puta…   » ver todo el comentario
#31 Lo de la ñ es porque si quieres enseñar con tacotron2 un sistema de Text To Speech lo que tienes es, en mi caso, 600 horas de audio con sus subtítulos, de las que coges un 75% para entrenar y un 25% para validar con cross entropy. El problema es que el charset por defecto de tacotron no incluye la ñ, pero la frecuencia de la ñ en el español es 0.31%, con lo cual no afecta casi nada en la validación... es un error casi imposible de ver en el board hasta que haces pruebas reales que coincide…   » ver todo el comentario
#32 Divides entre entrenamiento y test (75-25%) pero no para validar? O te refieres a que dentro del 75% de entrenamiento ya va la división en entrenamiento y test para ir calculando el error por iteración?

Es que precisamente, aunque solo haya un 0.31% de ñ debería tener una muestra importante y detectar que para ese tipo de valores (la "ñ") siempre da un error frente a lo esperado (la pronunciación de la "ñ" en el audiolibro). No se si usas Tensorflow y con el board te…   » ver todo el comentario
#33 Cuando vas a entrenar en tensorflow le pasas las muestras que debe usar para entrenar y las que debe usar para validación. Lo que genera son "audios" así que jamás el audio va a ser 100% exacto a lo que esperaba, así que si ya se parecen un 95% te puedes dar un canto en los dientes. No hay manera de comprobar de forma automática si la pronunciación para cada fonema es correcta, tienes solamente el dato numérico del loss.

Lo uso para industria. Si contratas un servicio de TTS de…   » ver todo el comentario
#34 Vale, si, el text-to-speech lo entiendo, si es para clonar voz, necesitas tu propia data (tu voz), eso si lo entiendo.

Y lo del audio exacto también lo entiendo, pero la "n" y la "ñ" se pronuncian de forma muy diferente, entiendo que entrenando con un audio, si falla entre la "n" y la "ñ" se equivocaría antes entre la "c" y la "d" y muchas otras, que están más próximas en espectro sonoro. Si te calcula mal el error entre…   » ver todo el comentario
#35 Pues de la segunda parte como dato, depende. Si es un NLP para textos largos (sumarización, open question, etc) actualmente sí, Google se lleva la perra gorda, pero BERT es libre y lo puedes usar, va bastante bien, yo soy bastante activo en la parte de SQuAD con alBERT.
Pero si es un NLP para intent classification, dialogflow sucks :-) Yo tengo mi propio NLP opensource, lo usan 15.000 proyectos actualmente, algún banco, aseguradora, transporte,... Y ya te confirmo que las métricas mucho mejor que Dialogflow.... el problema de las cajas negras es que no son tuneables y que "good enough" es todo lo que buscan porque llegar a "very good" cuesta dinero y trabajo... así que ahí se quedan. Mejor el tuyo propio.
#36 Si, Dialogflow confirmo que es una castaña, pero creo que irá mejorando, es lo que hace google, saca pronto (en beta eterna) y decide si tira a la basura o le mete una mejora brutal. Pero a eso iba, que BERT salió de Google, lo hacen opensource porque entonces se aprovechan de todo el talento de la comunidad (del tuyo, por ejemplo :-) ) y luego ellos crecen mucho más rápido ahí. Es cierto que las cajas negras no van bien en ML, pero el NLP es tan poco variable, lo que comentaba, si es…   » ver todo el comentario
Recordad esto que escribo...en x (no muchos) años ..van a trabajar 3 personas y el resto a comer pipas
No está al alcance de todos, eso si: requiere 12 millones de $ entrenarla.
Un artículo muy interesante:
venturebeat.com/2020/06/01/ai-machine-learning-openai-gpt-3-size-isnt-
#9 Eso es una completa exageración... son sólo 4.6 millones de $ usando una nube de GPU Tesla V100
#13 ¿Fuente de ese coste?

menéame