edición general
208 meneos
1186 clics
Un ChatGPT de código abierto: ya hay alternativas e ideas en marcha. Los científicos ven esencial la transparencia

Un ChatGPT de código abierto: ya hay alternativas e ideas en marcha. Los científicos ven esencial la transparencia

Una investigación científica que acaba de ser publicada recuerda que la transparencia en el código es esencial para combatir los peligros de la información engañosa. Y, aunque ChatGPT haya llegado al mundo sorprendiendo por sus impresionantes capacidades de comprender el lenguaje natural, llevar a cabo muchísimas funciones y respondernos a muchas dudas, no hay por qué depender al 100% de una sola herramienta que, a su vez, depende de unas pocas empresas.

| etiquetas: desarrolladores , open source , software español , inteligencia artificial , chatgpt
  1. Esta {0x1f4a9} ya no la para nadie. 
  2. Al menos si el código es abierto podrá detectarse el adoctrinamiento.
  3. #2 El código... el dataset no tiene porqué
  4. #2 pues no mucho. Los sesgos es algo que aparece más bien en la fase de entrenamiento del modelo. Depende de la información que se elija, y de cómo se entrene. La arquitectura es más o menos conocida.
  5. #2 Eso no es parte del código.
  6. En estos temas, todo lo que sea apostar por la transparencia y el código abierto es fundamental.

    Si ya había polémica por los algoritmos usados en la asignación de ayudas públicas, colegio, seguro médico, sanidad, etc.. , imaginad que puede ocurrir cuando el sesgo de una IA empiece a discriminar ciudadanos, ideologías, etc.. Y nadie sea capaz de evaluar que cojones está pasando allí, porque ni siquiera hay un algoritmo que revisar.

    "Es así porque lo dice el oráculo".
  7. Pues hay muchas pero solo menciona de pasada lo que hace dotcsv y ya.
  8. Ahora facebook o amazon se sumarán al proyecto demostrando su firme apoyo y compromiso con la transpariencia y el código abierto y el bien de la humanidad, hasta que lo compren.
  9. #6 ¿Y cómo revisas un modelo con miles de millones de parámetros?
  10. #9 Como puedas. Lo que es seguro, es que si es privado no vas a poder hacerlo.
  11. #10 Y si es público, tampoco. Está fuera de las capacidades humanas. Nadie sabe lo que pasa ahí adentro.
  12. #1 Pues si no puedes pararla, únete. Así que mejor que sea pública
  13. No se trata tanto de revisar los sesgos como de que al funcionar de manera libre (e idealmente distribuida), sus funciones no puedan estar capadas. Los sesgos se pueden alterar si también puedes elegir qué datos utilizas para entrenarla.

    Con los generadores de imágenes online tipo Wall-e, etc, suelen haber filtros NSFW. Con estos procesadores de lenguaje pueden imponerse sesgos políticos de distinto tipo evitando que se generen respuestas "incorrectas". Hubo toda una polémica con AI Dungeon cuando decidieron empezar a banear a quien creaba (sin publicarlas, solo para consumo propio) historias NSFW que cruzaban alguna línea roja legal.

    La libertad tiene riesgos, claro. Que tengas un generador de imágenes en tu PC te permite generar contenido pornográfico ilegal, o te facilitaría utilizarlo para hacer, pongamos, carteles e imágenes que impulsen al odio contra una minoría. Un procesador de lenguaje en tu PC te permitiría construir bots para spam o para difundir mensajes de odio en redes sociales.

    Yo me inclino por el lado permisivo, a pesar de los potenciales problemas. Me parece mucho mejor que tener IAs "capadas" por decisiones que desconocemos y sobre las que no tenemos ningún control. Y que los problemas que surjan por un mal uso se arreglen (o incluso se castiguen) a posteriori, no con una censura previa.
  14. #11 no tienen por qué hacerlo personas, se podría automatizar en cierta medida y hacerlo factible..... Eso de automáticamente decir que está fuera de las capacidades humanas se ha demostrado como una sentencia más temporal que otra cosa
  15. #13 Stable difussion no tiene ningun filtro para generar imagenes, puedes hacer lo que te plazca.

    Como si quieres una imagen de Ayuso desnuda posando. Se lo puedes preguntar y te lo genera.

    Otra cosa son las pesadillas luego :shit:
  16. #15 Por eso stablediffusion es el ejemplo de lo que hay que hacer, sobre todo la versión que te puedes descargar en local. Y que encima ya pueden denunciar a los autores, tirarlo abajo, prohibirlo, lo que quieran, que tú lo tienes en tu disco duro....

    Lo que hace falta es un stablediffusion para esto del chat.

    De todos modos creo recordar que la versión online de stablediffusion sí tiene filtro, pero sí, si te lo bajas en local puedes generar lo que te salga de las pesadillas xD
  17. Como tecnología, ChatGPT no tiene mucho aquel... Hay implementaciones en pocos cientos de líneas de código. La clave es en la ingente cantidad de datos que se ha procesado. Lo suyo es hacer público el modelo y explicar qué fuentes se han usado para construirlo.
  18. #14 Se pueden sacar ciertas conclusiones generales, e incluso comprender a qué significado se asocian algunos parámetros... Pero estamos hablando de una fórmula matemática con miles de millones de parámetros. Por mucho que automatices, es imposible que un humano pueda comprender eso.
  19. #_2 #_3 Exacto, ese es el problema.
    El dataset con el que se ha entrenado puede estar sesgado, intencionalmente o no.

    Y no sé si es el caso del texto, pero por lo menos en imágenes es carísimo entrenar un dataset, con lo que la empresa que lo haga puede poner lo que quiera.

    Ya pasó en los modelos de Stable Diffusion 2.0 y 2.1, que la empresa ha puesto restricciones NSFW muy potentes en la generación de imágenes.
  20. #12 No lo digo en el mal sentido, sino que esto es el principio de algo gordo que tendrá una serie de repercusiones  tecnológicas durante años.
  21. #15 En las versiones 2.0 y 2.1 no hay desnudos ni gore.
    Y quitaron gente muy famosa.
    Y el modelo base no te va a hacer a Ayuso porque se alimentó de sitios no españoles.

    Otra cosa es que se pueda añadir, pero requiere cierto hardware y conocimientos técnicos para hacer algo coherente.
    Y en el caso de esa tipa requiere tener cierto mal gusto.
  22. #6 El problema de las IAs no es tanto el código (que también) sino los datos. Y los datos privados estamos cediéndolos patadas y los públicos los estamos vallando para que nadie pueda verlos o acceder a ellos.
  23. #15 Creo que el dataset si tiene filtro
  24. #13 Con los generadores de imágenes online tipo Wall-e, etc, suelen haber filtros NSFW.

    Ese filtro se puede hacer no dándole ninguna imagen NSFW en el entrenamiento ni nada que pueda servir para luego generarlas, en este caso parece relativamente realista porque socialmente ya hacemos una distinción y filtros claros en las webs.

    Pero ese filtro también se puede hacer, siendo menos efectivo, en la capa previa a la petición a la IA, filtrando las palabras que podrían generar como respuesta imàgenes NSFW.

    En el caso de los chats de texto creo que el filtro es muchísimo más difícil hacerlo en el entrenamiento porque socialmente no hacemos ese filtro, no hay webs donde se hable de política y webs donde no se hable de política, o webs donde se hable de violencia y webs donde no. Por lo tanto el modelo acaba aprendiendo de ello y luego el filtro que sí puedes intentar, y posiblemente fracasar si hay empeño en ello, es en la petición que se le hace a la IA y posteriormente analizando la respuesta que se recibe de la IA antes que la vea el usuario.

    Así vemos como el chatGPT de Bing empieza a dar una respuesta y a media respuesta se borra y te dice que no te puede responder. Eso se hace analizando esa respuesta.
  25. #17 Las fuentes usadas: todo Internet.
  26. #11 Puedes poner a otra IA a hacerlo :tinfoil:
  27. #20 Si solo fueran repercusiones tecnológicas....
    esto va a tener repercusiones sociales, vitales, etc.
    De ahí la necesidad de que sea público
  28. #26 Es lo que se va a intentar. Mientras tanto, vamos a navegar en un mar de contenido generado por inteligencia artificial, con inteligencias artificiales actuando en nuestro nombre para buscar información, publicar información, realizar operaciones financieras, organizar agendas propias y ajenas, tomar decisiones de producción, evaluar riesgos, comunicarse unas con otras para cumplir mejor con sus objetivos...

    Y todo ello sin que los seres humanos seamos capaces de comprender realmente lo que está sucediendo dentro de ellas.

    ¿Fascinante? Sin duda. ¿Peligroso? También.
  29. #6 #9 No se puede, igual que no puedes abrir un celebro y leer sus neuronas.

    Se le llama el problema de la caja negra:
    www.investigacionyciencia.es/revistas/investigacion-y-ciencia/adaptado
  30. #12, el problema es que en este caso no es una cuestión de tener el código fuente, sino de disponer de una infraestructura gigantesca para entrenarla y ejecutarla. Por lo que no tengo claro que recorrido pueden tener estas alternativas frente a las de los gigantes tecnológicos.
  31. #18 con esa actitud de "es imposible", seguro que no se va a poder, ahora, si se intentan buscar soluciones, alguna se encontrará. Se pueden hacer análisis indirectos, tampoco hay que entender todo y absolutamente todo al 100%.

    Quién nos diría que podríamos obtener una imagen de un agujero negro hace tal sólo, no sé, 30 años. Seguro que había muchos que decían que era "totalmente imposible", y aún así quedarán muchos que digan "es que yo no lo he visto con mis propios ojos", "es que son radiofrecuencias y por tanto no es estrictamente visible"...... Lo que quieras, pero con tu actitud la humanidad no habría ni salido de las cavernas
  32. #29 Preguntándoselo.
  33. #31 Con esa actitud tampoco habría habido los 100.000 muertos de Hiroshima y Nagasaki, pero sí, en parte tienes razón.
    La cuestión es que la tarea de entender cómo funcionan realmente estos sistemas va a ir inevitablemente por detrás (muy por detrás) de los "avances" y de su liberación en el mundo real. Así que, en la práctica, vamos a estar continuamente liberando modelos que solo entendemos parcialmente. Es difícil imaginar un escenario sociopolítico / tecnológico en el que las cosas puedan ser de otra manera.
  34. #30 La única solución es trabajar en red y que cada pc conectado sea un nodo de trabajo. No sé si esta tecnología será escalable a esta escala
  35. #32 no sé si es coña o no tu comentario, pero la IA no sabe porqué lo sabe. Me explico: el “conocimiento” de una IA se basa en un montón de probabilidades. Pura estadística. Matemáticas. Si su conocimiento se basa en millones de parámetros y le preguntas… te responderá con millones de parámetros. Y sí, es una respuesta correcta, pero ingestionable por un humano
  36. #30 si hacen libre tbn los pesos no hace falta entrenar (ya dan entrenado) el stable diffusion por ej
  37. #33 Hay 8000 millones. En 100 años estaremos todos muertos.
    (No es crítica, es que me ha hecho gracia la cifra de muertos, ni he leído noticia...)
    Positivo por aguantar troleo xD
  38. #24 Si. Existen tres filtros.
    De petición (tu prompt con palabra 'sexual,violenta...' en cualquier idioma filtrada por IA)
    De dataset (entrenado con datos filtrados) Otra IA estilo safesearch, comprueba que nadie se ofenda.
    De respuesta (filtra resultado con otra IA tipo safesearch)

    Con Stable Diffusion 1.5 no llegaron a implementar eso. Descargado y al DVD.
    Open-assistant.io creo que no nos llegará limpio de filtros (calculo unos 200Gb de datos). Lástima.
  39. #35 Pero puede saber (si se hace) el error cometido y el ¿Por qué?

    ¿Te puede contestar de todo? ¿Menos el por qué te hace una decision? Es más. La competencia (Por ejemplo, el buscador Bing) te mostrará las fuentes utilizadas del razonamiento que te hace.

    Si una inteligencia artificial aprende. pues debe de aprender y no desaprender. De lo contrario, hay que empezar desde el principio.
  40. #36, sigue habiendo el problema de la inferencia. Los mejores LLM son mucho más pesados que Stable Difussion.
  41. #40 si liberan los pesos creo que serían sobre 90gb no sé a que te refieres exactamente
  42. #41, la verdad es que no se cuanto ocupan todos los pesos de GPT-3, menos los de GPT-3.5 o GPT-4 cuyo número de parámetros no está publicado. Pero en todo caso este no es el problema, el problema no es lo que ocupan los pesos, el problema es ejecutar un modelo de 90GB. ¿Cuantas tarjetas gráficas crees que se necesitan para ejecutar un modelo de este tamaño en inferencia? Desde luego no es algo que la gente pueda ejecutar un en casa. Se necesita una infraestructura dedicada a ello cuyo coste si la ejecutan miles o cientos de miles a usuarios a la vez escala enormemente y volvemos a estar en un problema. ¿Qué compañía iba a sufragar esto? ¿Estarían los usuarios dispuestos a pagar el coste de subscripción a esta infraestructura solamente por el hecho de estar ejecutando un modelo libre cuando hay alternativas gratuitas que se monetizan de otra manera?

    Vamos, que lo que señalo es que todo esto no es tan sencillo como trasladar el paradigma del software libre a estos modelos, aquí el soporte hardware es un problema cardinal.
  43. #35 Y ni siquiera te responderá con millones de parámetros, salvo que tenga acceso a ellos, cosa que no es nada habitual.
  44. #39 No funciona así. Para empezar, no son "inteligencias" literalmente, solo se las llama así porque producen resultados que los humanos asociamos con la inteligencia. La forma de tomar una "decisión" es la siguiente: introduces como input un texto, codificado en una serie de números, y el LLM hace una operación matemática complejísima (que no podrías leer entera ni siquiera en el transcurso de toda tu vida), y devuelve el resultado, que a su vez se convierte en texto.

    El entrenamiento consiste simplemente en calcular los parámetros de esa fórmula matemática.

    No hay nada más.
  45. #44 Que debería de ser aprender. También debería de responder a la pregunta. ¿Por qué has tomado tal decisión?
  46. #45 Pues no puede, más allá de una explicación general como la que te acabo de dar. Es como si esperas que una calculadora te diga por qué ha tomado la decisión de escribir 4 en su pantalla cuando pulsas 2, +, 2, =. Lo hace porque su configuración física y de software así lo indican.
  47. #46 Yo creo que sí. Te lo explicaría. De hecho, es la prueba en el chat. Alguna explicación te tiene que dar. De lo contrario no serviría para enseñar.

    Una cosa sería el resultado y otra sería la filosofía o el desarrollo del resultado.
  48. #47 Si te refieres a explicar los pasos para la resolución de un problema matemático, sí puede hacerlo, pero lo hara igual que una persona: construyendo la explicación a posteriori de decisiones que no sabe por qué ha tomado. (Excepto en algoritmos sin ambigüedad, en los que establecer los pasos es trivial.)
  49. #42 ejecutar requiere muchísimo menos que entrenar, creo que con una gtx1070 para arriba vale, eso sí, irá lentillo
  50. #49, ni de coña haces correr GPT-3 en una gtx 1070, ya no solo por el número de núcleos, sino porque no tiene suficiente memoria para cargar todos los pesos de la red neuronal.
  51. #50 parece que se avanza mucho pero la 1070 es solo 4-6 veces más lenta que la 4090 (imagina esperar 2 minutos en vez de 30 segundos), en lo de la ram tienes razón, sería idóneo sobre 12-16gb de vram, de todas formas gpt3 no podemos saber , lo más cercano libre sería gpt-J que es 3 veces más que gpt2
  52. #51, pero es que gpt-3 ya pesa mucho más que 16gb, ni te digo gpt-4. Como proyectos estas cosas están bien, pero la mayoría de la gente no va a usar un chatbot mucho más "tonto" solo porque sea libre si tiene opciones como Bing.

    De todas formas veo bien que se creen datasets libres, pero hay que señalar las limitaciones de estos proyectos y no vender a la gente la ilusión de que en breve podrán ejecutar su propio GPT en casa.

    La única esperanza no la veo en que el hardware escale, sino en que se encuentre la forma de comprimir los modelos sin perder rendimiento.
  53. Software privado = mentiras
    Software libre = confiable
    Sin embargo estamos llenos de software privado y parece no importarle a nadie.
  54. #52 de todas formas los modelos se van mejoramdo y haciendo mas eficientes , paso con stable diffusion y este link, aunque si que es verdadera magia ,no sé como lo hacen twitter.com/DotCSV/status/1626269071632113665?t=jsXjVMtPawhZySygJL4COA
  55. #54, sí, eso es verdad, pero hoy por hoy es utopía pensar en un GPT-3 doméstico.
comentarios cerrados

menéame