edición general
123 meneos
2414 clics
El error de la IA de Google con las imágenes revela un problema mucho mayor, más allá del exceso de diversidad, equidad e inclusión [EN]

El error de la IA de Google con las imágenes revela un problema mucho mayor, más allá del exceso de diversidad, equidad e inclusión [EN]

Dado el problema de las alucinaciones, quienesquiera que sean los líderes de la IA en el futuro (ya sea Google, Microsoft, OpenAI o una nueva empresa) se verán tentados a “cumplir” sus propias reglas sobre lo que la IA debería y no debería producir, al igual que Google. hizo con Géminis. Este “relleno” vendrá inevitablemente de los prejuicios y la cultura de cada empresa y podría eventualmente restringir o al menos modificar drásticamente lo que la IA está permitida o dispuesta a mostrarnos, tal como hizo Google con Gemini

| etiquetas: chatbot gemini ai , google , ia , 2001: una odisea del espacio , sesgos
  1. #2 es.wikipedia.org/wiki/Alucinación_(inteligencia_artificial)
    Es literalmente como se llaman estos casos en el campo de las IAs
  2. "eventually" no se traduce por "eventualmente" en castellano. En castellano significa "temporalmente".
    La traducción sería "podría llegar a" o "terminaría" o "llegaría".
  3. #3 Por qué? Por esto?
    “..Gemini de Google al menos ofreció alguna explicación , diciendo que mostrar sólo imágenes de personas blancas reforzaría “estereotipos y generalizaciones dañinos sobre las personas en función de su raza”..” (cuando le pedían vikingos)

    Creo que el quid está más abajo con los buscadores copados ya por IA según unas instrucciones dirigidas que nos ofrecen búsquedas no relevantes pero sí relevantes para el dueño del buscador y sus propios prejuicios de lo que está bien y está mal

    Nota: siendo un artículo generalista (menos mal que no nos lo han colado n el |Ciencia) el tema que comenta #2 (cuando lo descubrí en su día) sobre las alucinaciones que producen estos sistemas es flipante. Básicamente (y simplificando mucho)… si no sé algo me lo invento xD
  4. CNN intentando quitarle paja al asunto. Y el asunto es que están intentando forzarnos a tragar ciertas consignas, no cualquier consigna, sino unas específicas.

    Que puedes hacer que una IA tenga sesgos ya se sabe. El tema es que está claro que sesgos nos están intentando meter, sesgos que CNN considera beneficiosos, de ahí que la crítica en este artículo sea al peligro de que nos puedan meter otro tipo de sesgos que ellos no aprueban.
  5. #5 De ese enlace:

    una alucinación de IA se asocia a la categoría de respuestas o creencias injustificadas

    Cuando se fuerza a la IA a que tenga un sesgo, el resultado no es fortuito o injustificado; es exactamente lo que se busca.
  6. #2 No son ni alucinaciones, ni incoherencias, el problema realmente es la gente que programa estas IA que están obsesionados con las políticas Woke y usan estas IA que programan para intentar adoctrinar a la gente.
  7. Bonita sociedad la que prioriza los sentimientos etéreos de la población. A los hechos históricos o científicos. Ahora también en la IA.

    Es precisamente la paradoja de la diversidad, lo que mata la diversidad cultural e histórica.

    Todas las historias (IA) en el futuro seran muy diversas, con personajes de todas las razas y orientaciones sexuales. Pero, todo será un calco de la sociedad y cultura occidental anglosajona de la ciudad de Los Ángeles, todos hablando inglés mientras van a un Starbucks.

    Adiós, a las miles de diferencias étnicas, culturales, políticas, lingüísticas, gastronómicas etc... Que existen en el mundo.
  8. Hablamos de la decadencia del imperio romano, mientras no vemos lo que pasa delante de nuestras narices
  9. #7 eventually - a la larga, al final
    eventualmente - puede que pase o no
    temporalmente - durante un tiempo, el que sea, pero se acabará

    Esto es inevitable, la palabra parecida en inglés acaba contaminando con su significado a las palabras que se usen para traducirla. Prácticamente todo lo que leemos en castellano está traducido del inglés. Ahora esquiva eso.

    Peor fue lo del japonés con la limitación de kanjis en los periódicos. Antes habia dos kanjis distintos con significados completamente distintos. Uno de ellos fue prohibido. Los periódicos empezaron a usar el otro, que se pronuncia igual, con lo que ahora tienen no sólo la misma pronunciación sino que además comparten un significado.
  10. El problema es dejar la IA en manos de grandes empresas. Sesgos no solo ideológicos sino de todo tipo.

    ¿Por qué es malo el sexo y la IA no puede generar nada relacionado? ¿Por qué no tiene permitido hacer cybersexo contigo? (es gracioso porque las fantasías sexuales fueron gran parte de lo que la gente generaba en AIDungeon, el GPT cuando todavía no se había popularizado).

    Al final la respuesta es sencilla, la IA no puede estar en manos de grandes empresas que decidan arbitrariamente lo que sí, lo que no, y lo que se manipula. Open Source y cada uno en su PC que genere lo que le apetezca, lo demás es censura y poder empresarial inadmisible, vaya en la dirección que vaya.
  11. #10 No es correcto lo que dices. El problema de los sesgos que menciona es un problema técnico, no de consignas. Por poner un ejemplo, se creó un programa en USA que trataba de ayudar a los jueces sobre la sentencia a tener por parte del acusado. Y resulta que, metiendo la raza como parámetro, salía que, ante la misma infracción, los negros tenían una estimación de la pena más alta que los blancos.

    Y por aquí viene la problemática. Las técnicas de eliminación de sesgos están bien, y son muy útiles...en modelos supervisados. Estos modelos masivos como Gemini son, en un porcentaje altísimos, auto-supervisados. Esto es, no se etiquetan los datos, se usa la información ya existente, sin filtrar. Y meter control de sesgos ahí te provoca el problema inverso, salen cosas sesgadas en circunstancias en las que el sesgo es obligatorio.

    Para resumir: lo que dice el artículo es correcto, se pueden sesgar los modelos para filtrar lo que te interese. Pero el motivo de este caso no es el que mencionas, si no algo más técnico. No es una agenda o algo por el estilo.
  12. #7 La mayoría de las veces el significado en castellano es "finalmente"
  13. Que basura de Woke IA
  14. Una IA pero wokizada
  15. #4 Como que no es posible infuir en lo que hace una red neuronal por dentro, lo que hacen es añadirle texto a tu promp. Sólo pueden controlar las entradas y las salidas.
  16. #10 Cuando dicen que la IA discrimina a las minorías es falso. La IA no discrimina, todo depende de los sesgos que tenga la información de base (principio de garbage in garbage out). O sea, si cuando se le pide la imagen de un medico, suele mostrar a un hombre blanco, es porque las imagenes que se han usado para crear la IA suelen mostrar a un hombre blanco en mayor proporción. Si una IA bancaria discrimina a minorias en la aprobación de prestamos, es porque seguramente algunas minorías (no todas) deben ser mas propensas a no devolver prestamos y eso se refleja en los datos que se han usado para crearla.
    Se pueden hacer correcciones para combatir estos sesgos, pero hay que tener claro que es introducir otro sesgo, esta vez descaradamente deliberado. Y asi salen cosas como que la IA diga que hay que estar orgulloso de tu cultura... excepto si le dices que eres blanco, entonces no. Lo cual insulta a la inteligencia y acaba produciendo el efecto contrario al perseguido. Gemini ha sido noticia porque era muy descarado (nadie lo probo antes?) pero tienen mas peligro los sesgos "discretos"...
  17. #33 En España es el sexo. Se estima que los hombres reciben el doble de pena que las mujeres por el mismo delito, naturalmente no hay ningún estudio sobre esto.
  18. En cuanto a una IA se le nota el sesgo woke me da repeluco porque creo que es un tipo de lobotomizacion, al igual que si el sesgo fuese en otra dirección. Si ya hay dudas en cuanto a lo que genera, mas dudas me da si esta lobotomizada.

    Al final forzaran a la tropa a buscar en github la que mas le mole, revisar que no este lobotomizada, y montársela en algún VPS por 100 pavos al año.
  19. #7 Eventually se traduce como "tarde o temprano" no como "temporalmente". Eventually quiere decir que, tarde o temprano, con el paso del tiempo, acabará ocurriendo inevitablemente. "Temporalmente" como sabrás singifica que solo durante un período de tiempo y no definitivamente.

    Pero si, traducir eventually como eventualmente es un "False friend" como decían mis profesores en mi niñez, de libro.
  20. Alucinacion es llamar "alucinacion" a las incoherencias y errores de un sistema informático.
  21. #7 Yo creía que era "seguramente" como bien dices es un falso amigo que lo mal traducen a eventualmente y lo traducen "bien" a temporalmente, pero tengo entendido que en ingles es algo que se da por seguro que pasará en el futuro.
    DeepL me la traduce a "finalmente"
  22. Google está fino últimamente, el tema IA le ha venido grande, no saben por dónde les viene el viento, matando moscas a cañonazos, han hecho igual a nivel de contenidos y SEO, pero vamos, tienen pasta para seguir haciendo el subnormal un par de temporadas más.
  23. #14 Ya, por eso llevan varios meses obsesionados con que pensemos que las personas tenemos entre 3 y 8 dedos en cada mano mediante manipulación de resultados de las imágenes creadas por IA.
  24. El artículo no es más que un refrito.

    El problema es el de todas las IAs txt2img, que es malo el etiquetado de las imágenes con las que se ha alimentado.

    Luego han hecho un filtrado a partir del etiquetado y ha salido una cosa rara.

    El tema del etiquetado es complejo porque son cientos de miles de imágenes etiquetadas de cualquier modo y ahora mismo da resultados aceptables por una cuestión de cantidad.

    Pero eso, cómo dicen: Metes basura, sacas basura.
  25. #5 Usar la Wikipedia para estas cosas no es buena idea.

    Creada el 7 de julio de 2023
  26. Buen artículo.
  27. #18 ya está pasando, las IA se entrenan en gran parte con contenido de otras IA o al menos preprocesado por otra IA
  28. "va dando pequeños pasos de razonamiento hasta llegar a tener consciencia"

    Un charlatán. Ni siquiera la gilipollez es nueva.

    didn’t always recognize Black people, for example, or even labeled them as “gorillas.”

    Un claro ejemplo de sesgo. Si por ejemplo confunde a un hombre blanco con un bonobo, pues eso es un error, luego confunde a un hombre negro con un gorila, entonces eso es racismo. El sesgo no es de la máquina, sino del que opina sobre la máquina.

    Los intentos de corregir ese sesgo inexistente en la máquina, inyectándole, esta vez sí, un sesgo a la máquina, obtienen los resultados que cabe esperar, vikingos negros y gilipolleces por el estilo.

    El artículo es tendencioso. Véase:

    biomedical devices measure blood oxygen levels for different ethnic groups, resulting in underdiagnosis of certain conditions for Black patients

    Los cacharritos que miden el oxígeno en la sangre a base de iluminarte un dedo y mirar el color, ven un color distinto dependiendo de la piel, como es normal, pero la diferencia es de un 1%, insignificante, aparte de que quién hace un diagnóstico ya sabe corregir eso.

    Pero el activista que ha escrito esta mierda solo sabe ver racismo ahí, porque es lo que quiere demostrar, no importa cual sea la realidad.

    AI already has a well-known hallucination problem. In other words, sometimes AI makes things up.

    Están degradando la palabra alucinación para que acabe por no significar nada. Lo descrito no es una alucinación, es un resultado normal. No es que la IA se invente el resultado en este caso, sino que se lo inventa siempre. Llamamos errores a cuando el resultado no nos gusta, pero para la máquina no hay diferencia.

    Una alucinación, en cambio, es cuando la respuesta no tiene nada que ver con la pregunta realizada.
  29. Esto tiene muy difícil arreglo, dado las toneladas de hardware que se requieren para ejecutar estos modelos de IA, pero fue muy mala idea regalar una de las herramientas más poderosas de la humanidad a las empresas privadas.

    Ya sea por incomprensión, por corrupción, ... Desde hace años las tendencia empeora y, todavía peor, el que se da cuenta de esto saca su lado ludita y rechaza la tecnología. Cuando la única respuesta es que todo esto sea para la población similar a usar un destornillador.

    Lo malo es que si queremos ver qué hacen las administraciones al respecto... Podéis echar un vistazo al trabajo de Jaime Gómez-Obregón. Es descorazonador
  30. #14 usan estas IA que programan para intentar adoctrinar a la gente. :tinfoil:
  31. #54 Uff verás cuando te enteres que un proceso que levanta a otro se le llama “padre” y que cuando este se termina, al proceso hijo se le llama “huerfano”.

    Y para otro día te cuento lo de los zombies … flipas!
  32. #38 Porque es un concepto relativamente nuevo. La versión en inglés también es bastante reciente, la página se creo en diciembre del 2022.
  33. #26 igual.... con los gobiernos de turno, imaginate Milei, Bolsonaro, o un nuevo Hitler con el monopolio de la IA.
  34. No he leído el artículo, pero cuando se critica una IA por tendencias "wokistas", por ignorancia o por mala fe, se está obviando que, para que un algoritmo funcione correctamente con todas las categorías, debe entrenarse e identificar todas ellas en el mismo grado no importa lo subrepresentadas que estén.

    Esto quiere decir que, si por ejemplo diseñamos una IA para el diagnóstico de enfermedades de la piel, puesto que mayoritariamente encontraremos imágenes de personas de raza blanca, para que el diagnóstico sobre otras razas infrarrepresentadas sea igual de eficiente, deberemos sobrerrepresentarlas en el entrenamiento, es decir, alimentar la IA con cantidades equiparables de imágenes de las diferentes razas.
  35. #11 Yo creo que es algo genial. Estás políticas indican claramente que servicios no usar. Google se está pegando un tiro en el pie. Luego bajarán el numero de clientes y el precio de las acciones y vendrán los lloros.
  36. Lo que empeora la censura y la manipulación de la IA es que la IA actual ya tiene un conocido problema de alucinaciones . En otras palabras, a veces la IA inventa cosas.

    Esto lo viví yo hace unas semanas de manera curiosa. Usé Chatgpt para traducir unos subtítulos de una película, cuando le pegas textos muy largos, la IA va por tandas de x número de caracteres, y hay que indicarle manualmente que siga traduciendo. Pues bien, la primera tanda la hizo perfecta, pero con las demás se inventó una película totalmente diferente, los diálogos seguían sincronizados, pero no tenían nada que ver con el original. Lo que más me alucinó es que esos diálogos inventados seguían teniendo cierta coherencia.

    Al final lo arreglé copiándole los subtítulos manualmente por tandas, para que no hiciera más de una tanda a la vez, y quedaron muy decentes.
  37. #17 Es posible que se saliera de la ventana de contexto. Los modelos actuales tienen una capacidad máxima de atención limitada, por lo que si las instrucciones iniciales estilo "traduce el siguiente texto que son los subtítulos de una película" dejan de estar en su memoria, el modelo deja de saber que está traduciendo, y puede suponer que se le ha pedido crear una historia alternativa, o lo que sea.
  38. #27 La RAE no deja dudas.

    1. adj. Sujeto a cualquier evento o contingencia.

    Sin.: 
    accidental, contingente, fortuito, ocasional, esporádico.
  39. No me sorprende con la que se lió cuando categorizó unas imágenes de negros como gorilas. La gente no entiende cómo funcionan y que solo son un reflejo de los datos que usas para entrenarlos.

    Lo que nos vamos a reir cuando la única fuente para entrenar IAs sean contenido creado por otras IAs...
  40. #48 No,no es ningún "concepto".

    La palabra "alucinación" existe hace mucho tiempo. Las IA no alucinan,

    Ahora que si quieres usar esa palabra para producir una sensación en el público......
  41. #50 Es un problema que tienen todas las IAs basadas en LLM
    Claro.
    Y se debe esencialmente a que NO son inteligentes, no a que sufran un transtorno mental. Son PROGRAMAS, es decir, ALGORITMOS. No saben que no saben.
  42. #53 Las alucinaciones son un problema mental. Las IA no tienen alucinaciones

    Que hayan decidido llamarle así a fallos absurdos en los resultados del algoritmo es otra historia.

    Se les llama así por motivos de marketing nada más.
  43. #57 Y eso lo decides tú?

    dle.rae.es/alucinación

    En un paper sobre inteligencia artificial publicado a principios del año pasado se habla sobre las alucinaciones en los modelos de lenguaje generativo:
    Marketing.
    Hallucination refers to the generation of false or misleading information by such models.
    Es decir, han decidido llamar a las contestaciones erróneas "alucinación", para que pareciera una "cualidad humana". Decir "respuestas erróneas o falsas", o simplemente errores no vende tanto.

    No hace falta otro paper. Simplemente basta con sustituir la palabra "alucinación" por "respuestas erróneas, ilógicas y sin fundamento".
  44. #58 No tiene absolutamente nada que ver. Imagínate que la creación de una nueva tarea se le llamara procreación y que partiendo de ahí se establecieran analogías y se empezara a hablar que los programas se reproducen igual que lo hacen las personas.

    Pues eso es lo que se hace con lo de las "alucinaciones".
  45. #61 e empezaron a llamar así, y ahora ya se les ha quedado ese nombre
    Márketing.
    "Alucinar" proporciona símiles humanos y por lo tanto connotaciones positivas cuando hablamos de las IA. Resultados erróneos y faltos de lógica tiene connotaciones negativas.

    ambién es llamada "inteligencia artificial" cuando no es inteligente.
    Exactamente. Más de lo mismo, y mucho más antiguo.
    "Sistemas Expertos", "Redes Neuronales" o "Modelos de Lenguaje" es una descripción mucho mejor.
  46. #63 No he inventado nada. Yo no he dicho que sean iguales y mucho menos he dicho que alguien lo decía.

    Lo que yo he dicho es que el uso de la palabra "alucinación" para describir respuestas erróneas, sin fundamentar y sin ningún sustento lógico por parte de la IA se hace por motivos de márketing.
  47. #65 Y qué tiene que ver?

    En este caso el nombre está puesto como marketing. Y funciona.
  48. #14 No es cierto. Son resultados erróneos consecuencias del modelo
  49. #25 Qué curioso, sólo en EEUU podrían pensar que la raza es un parámetro relevante para que la IA proponga una gravedad de pena.
  50. #49 Es un problema que tienen todas las IAs basadas en LLM. Si les quieres sacar datos sobre un tema y se quedan sin recursos, empiezan a inventarse las respuestas. A eso se le llama alucinaciones.
    Si quieres más información sobre el tema te recomiendo este vídeo Chema Alonso (que sobre IAs sabrá algo más que tú y que yo):
    www.youtube.com/watch?v=gsnFXlLYt9w
    Recomiendo todo el vídeo pero la parte sobre las alucinaciones empieza sobre el 17:10.
  51. #51 Vale pero aquí no estamos hablando de eso, estamos hablando de las "alucinaciones". Obviamente no tienen nada que ver con las alucinaciones humanas, pero se les llama así porque los síntomas son parecidos.
  52. #54 "Las alucinaciones son un problema mental. Las IA no tienen alucinaciones"
    Y eso lo decides tú?

    "Que hayan decidido llamarle así a fallos absurdos en los resultados del algoritmo es otra historia.

    Se les llama así por motivos de marketing nada más."

    En un paper sobre inteligencia artificial publicado a principios del año pasado se habla sobre las alucinaciones en los modelos de lenguaje generativo:
    As previously discussed in Section II, the reliability of generative language models may be compromised by the phenomenon of hallucination. Hallucination refers to the generation of false or misleading information by such models. This problem is prevalent in natural language generation, and the distribution of misinformation and disinformation is a common manifestation of this phenomenon. However, measuring the prevalence of hallucination in natural language generation is a challenging task, as it typically necessitates the use of human judgment, which may be costly and resource-intensive. This is highlighted in [62] which describes the difficulty of measuring hallucination in natural language generation.
    arxiv.org/pdf/2301.12867.pdf

    Ahora, si quieres que es márketing y que tendría que usarse otro nombre, te sugiero que escribas otro paper con tus investigaciones.
  53. #59 Se empezaron a llamar así, y ahora ya se les ha quedado ese nombre. También es llamada "inteligencia artificial" cuando no es inteligente.
  54. #2 Es que se inventan nuevas acepciones... lo mismo con "Inteligencia Artificial"... que no es, ni de lejos, todavía, "inteligente"...
  55. #60 Ya te han explicado que nadie ha dicho que las alucinaciones” de las IA’s sean iguales que las de las personas, es algo que te has inventado tu
  56. #64 Y los virus que infectan sistemas? Tienen ADN y una cápsula proteica?
  57. #41 Ya he dicho que "creía que era" y ya he puesto lo que me ha dicho el traductor, de paso me lo ha detallado #23
  58. La noticia de turno sobre la IA. Voto cansina.
  59. #16 "tarde o temprano", "con el tiempo", "finalmente"...
  60. #16 eventually no significa seguramente. Debes usar un diccionario inglés-inglés donde estas tonterías no aparecen.

    En el movil Collins o Oxford.
  61. #28 Existe un sesgo woke impuesto desde el poder. Esto siempre tiene el mismo interés que es proteger el dinero de los ricos.
  62. #35 Siempre le meten un sesgo de aleatoriedad, que además es ajustable bajo el nombre de "temperatura".
  63. "Los algoritmos de inteligencia artificial para la aprobación de préstamos terminaron mostrando un sesgo contra las minorías".
    Vaya. Parece que una ia totalmente lógica y aséptica llega a las mismas conclusiones que alguien con dos dedos de frente solo asimilando los datos.
    Habrá que castigar a esa ia para que deje de ser una ia fascista y veteropatriarcal
  64. #5 Sí, ese es el término aceptado para ese tipo de "respuestas", pero eso no quita que por ello pueda ser incorrecto, o que sea una terminología más que cuestionable. En mi opinión es un término que presupone una valoración un tanto subjetiva y valorativa sobre la respuesta.
  65. #9 Nos han mentido en Teminator, los asesinos enviados por una IA tendrían que haber sido "diversos" no solo racial, sino "funcionalmente". No me extrañaría que hasta fueran sexualmente diversos, transexuales, o con (aparentemente) género fluido.
  66. La IA reproduce sesgos ya existentes. Está diseñada para darte la mejor respuesta posible por lo que si le pides que te haga una imagen de una mujer extremadamente bella, esta habrá aprendido lo que generalmente se encuentra como bello por nosotros y te dará lo que más se ajuste a ese criterio. Aunque parezca mentira, ni siquiera OpenAi sabe exactamente por que con el mismo prompt varía las respuestas.
  67. #37 a menos que le digas que lo que venias charlando tiene importancia para la coherencia del final, ahí se lo toma diferente el asunto.
comentarios cerrados

menéame