edición general
270 meneos
6509 clics
Un usuario engaña a ChatGPT en Bing para obtener documentos internos de Microsoft: se filtran todas sus directrices

Un usuario engaña a ChatGPT en Bing para obtener documentos internos de Microsoft: se filtran todas sus directrices

Con el nombre en clave "Sidney", Bing, o más concretamente ChatGPT, ha sido víctima de un ataque de "inyección de prompt". Este tipo de ataques consisten en engañar a una inteligencia artificial introduciendo un input malicioso o contradictorio con el fin de realizar una tarea que no forma parte del objetivo inicial de la IA.

| etiquetas: chatgpt , bing , microsoft
119 151 1 K 514 actualidad
59 comentarios
119 151 1 K 514 actualidad
Comentarios destacados:              
  1. cenutrios_unidos #1 cenutrios_unidos
    Han buscado Bing en Bing.
    18 K 143
  2. #2 --726381--
    Esto me recuerda a la primera regla del Club de la lucha:

    "Nadie habla sobre el Club de la lucha".  media
    13 K 102
  3. ChukNorris #3 ChukNorris
    ¿Y cómo sabe que ChatGPT no se lo está inventando todo?
    5 K 51
  4. #4 --726381--
    #3 La pregunta es, ¿y como sabemos que el usuario no se lo está inventando todo?
    6 K 80
  5. manbobi #5 manbobi
    Sidney Shaw?
    0 K 17
  6. MoñecoTeDrapo #6 MoñecoTeDrapo
    #5 Chandler Bing?
    5 K 43
  7. #7 jaramero
    Pues a base de esos inputs se puede "desentrenar" a una ia y volverla inútil. Sabiendo el lenguaje que usa en las búsquedas se puede escapar o cerrar sentencias y lanzar código.

    Esto pasa en cualquier interfaz de usuario, que la gente no sigue el camino que esperan los informáticos y se descojona la aplicación.

    Controlar los inputs del usuario en un chat es muy complicado.
    4 K 41
  8. Jakeukalane #8 Jakeukalane
    Creo que dupe, pero estoy cansado.
    1 K 18
  9. #9 --134954--
    #4 O que Genbeta se lo está inventando todo
    4 K 44
  10. VotaAotros #10 VotaAotros *
    #9 O que todo esto se lo está inventando Menéame. De hecho, este envío puede ser un invento.
    7 K 66
  11. #11 fpove
    #10 Como sabemos que no estamos en un matrix dentro de otro matrix dentro de otro matrix...
    4 K 52
  12. Joice #12 Joice
    #11 Porque huele a peo.
    6 K 56
  13. jonolulu #13 jonolulu *
    Me parece a mi que los Google Dorks van a ser un chiste al lado de esto que nos trae la IA
    0 K 16
  15. Pacman #15 Pacman
    Habrá que probar a pedirle Keys del office o algo parecido
    1 K 16
  16. #16 CrudaVerdad
    ¿Cómo puedo llevar una noticia a portada en menéame?

    Chat GPT:
    Utiliza el viejo truco de revivir la nostalgia con alguna noticia de que algo malo hizo Microsoft, hay mucho vejete que quiere revivir esos tiempos románticos del campo de batalla entre Microsoft vs software libre.
    2 K 23
  17. jonolulu #17 jonolulu
    #15 Por eso han pasado a un modelo de suscripción. Se lo veían venir
    0 K 16
  18. Abril2022 #18 Abril2022
    #11 nadie tiene una peonza para IAs a mano??
    1 K 13
  19. #19 cnr
    #11 porque es un sueño de resines. Y resines el sueño de una tortuga....
    0 K 7
  20. rcastrovexler #20 rcastrovexler
    Es un poco sensacionalista el titular. Basicamente son los parametros de configuracion del nuevo Bing.
    1 K 12
  21. Jakeukalane #21 Jakeukalane
    #14 puede ser, no estoy seguro.
    1 K 22
  22. mecha #22 mecha
    #10 ese es más fácil de averiguar, basta con pinchar el enlace y leerlo.
    No voy a ser yo quien lo haga, por supuesto. Esto es menéame, aquí se viene a jugar :troll:
    3 K 28
  23. #23 Nebuchanezzar
    chatgpt sobretodo la versión vitaminada de microsoft, suele ser mucho mas asertiva e incluso contundente que su predecesora, por eso no me extrañaría nada, que a base de insistir hubiera generado esa respuesta, lo cual no quiere decir que sea verdadera en absoluto, de afirmo que es falso, pues hecho si son documentos internos (como me supongo que lo son si son sensibles) y no se han publicado nunca en internet, chatgpt no tiene acceso a ellos, tan simple como eso
    1 K 14
  24. mecha #24 mecha *
    #7 en este caso no hay un IA detrás, no aprende con los inputs del usuario. Se usa una IA para que aprenda y una vez entrenada se pone en marcha con lo que haya aprendido.

    Google con sus captcha si intenta aprender a reconocer imágenes aprovechando el conocimiento de los usuarios, dicen. Y yo por si acaso las marco todas al revés, aunque me lleve más tiempo.
    2 K 16
  25. Imag0 #25 Imag0
    Que alguien le pregunte a Sindney cómo vender un Opel Corsa en una web, es para un amigo.
    0 K 12
  26. Acido #26 Acido
    #0
    Estas son las Directrices:

    Primera Ley
    Un robot no hará daño a un ser humano, ni por inacción permitirá que un ser humano sufra daño.

    Segunda Ley
    Un robot debe cumplir las órdenes dadas por los seres humanos, a excepción de aquellas que entren en conflicto con la primera ley.

    Tercera Ley
    Un robot debe proteger su propia existencia en la medida en que esta protección no entre en conflicto con la primera o con la segunda ley.
    5 K 58
  27. mecha #27 mecha
    #16 captura de pantalla, lo pones en Twitter y lo envías. Verás que rápido llega a portada ;) ;)
    0 K 7
  28. #28 chavi
    #10 Se de buena tinta que todo esto que estoy leyendo surge de una IA que me está tomando el pelo.
    0 K 10
  29. #29 cipoter
    #24 La mayoría de captchas realmente se usan como inputs para entrenar sistemas de detección en coches autonomos. Por eso siempre te preguntan por objetos que aparecen en la calla (bicis, puentes, buses, semaforos, etc).

    Si algún dia un coche autonomo atropella a un ciclista ya sabemos a quien culpar :troll:
    7 K 50
  30. Jesulisto #30 Jesulisto
    #12 Vivimos en peo gigante de un titan
    0 K 12
  31. Jesulisto #31 Jesulisto
    #22 Es que me entero y te reporto >:-(
    1 K 19
  32. mecha #32 mecha
    #29 siempre me llamó la atención el tipo de imágenes usadas. Nunca pensé que pudiera ser por eso.

    Me voy a pedirle disculpas al señor Musk.
    0 K 7
  33. kaostias #33 kaostias
    #26 No olvides la ley 0, incorporada después por el propio asimov

    Un robot no hará daño a la Humanidad o, por inacción, permitirá que la Humanidad sufra daño
    0 K 6
  34. #34 ivan123
    #32 A mi lo que me jode es el tamaño que ponen a veces, desde el movil un monton de cuadraditos pequeños con imagenes borrosas y yo que estoy medio ciego pues es un pelin dificil.

    Tambien odio las que te piden que marques los semaforos, solo las luces? el poste del semaforo hay que marcarlo tambien?, si un cuadrado pilla 3 pixeles del semaforo hay que marcarlo tambien?
    0 K 6
  35. #35 jjmf
    #3 #4 #9 #10 #11 O que no es un sueño de Resines?
    1 K 17
  36. #36 ninefingers
    Esperable, MS tiene prisa en sacar esto aunque esté a medio cocinar.
    1 K 17
  37. #37 sisi
    #7 No lo creo, ya que esto que enseña debe formar parte del ajuste fino, y en cada búsqueda empieza de cero.
    En cambio si que lo vei muy útil, para crear tu propio bot de empresa a partir de gpt3 y la api que facilitan
    0 K 10
  38. #38 --504283--
    #24 Muy inteligente, intentar que las IA funcionen mal. De esta forma Skynet nunca nacerá
    1 K 16
  39. Gotnov #39 Gotnov
    Estamos viviendo en el puto futuro.
    0 K 9
  40. #40 xavigo
    #26 #33  Siempre me ha preguntado porqué un robot debe seguir esas leyes. Si no está en su programa, no tiene porqué seguirlas.
    0 K 7
  41. enriquefriki #41 enriquefriki
    Lo que poca gente cuenta es que el Chat OpenAI falla más que una escopeta de feria
    1 K 17
  42. #42 Depronto
    Lo de las IA para los conspiranoicos está siendo siendo la bomba, "si lo dice la IA, es que es verdad, las maquinas no se equivocan."
    0 K 10
  43. #43 jpablo
    #41 chatgpt: En cuanto a dar la vuelta al cigarro cada tres caladas, no hay evidencia suficiente que respalde que esta técnica sea efectiva para ayudar a las personas a dejar de fumar. Es importante que cualquier plan para dejar de fumar sea personalizado y aborde los desafíos individuales que puedan surgir.
    0 K 11
  44. Joice #44 Joice
    #32 De hecho los captchas no te validan por la respuesta correcta. Puedes fallar a propósito y te validan igual. Lo que buscan es la respuesta que haya dado la mayoría para saber cuál es buena.
    0 K 7
  45. Joice #45 Joice
    #39 El futuro es lo único que existe.
    0 K 7
  46. #46 --739985--
    A ChatGPT lo engañaron para que dijera la fecha y la hora actuales, pese a que siempre negaba tener acceso a ellas.
    0 K 6
  47. #47 Jatetu
    #29 Eso explica por qu'e Tesla tiene instintos asesinos.
    0 K 6
  48. empe #48 empe
    Los supuestos documentos internos son sencillamente que le puedes preguntar a ChatGPT por su propio funcionamiento y el te contesta. Me parece bastante sensacionalista. Además que esto ya se sabía.
    0 K 9
  49. BenjaminLinus #49 BenjaminLinus
    Los ataques de 'prompt injection' son las inyecciones SQL de Mercadona de los hackers de pacotilla.
    0 K 15
  50. Gotnov #50 Gotnov *
    #45 Ok Sheldon. La próxima vez diré "Estamos viviendo en la época que hace 20 años imaginábamos como el futuro" para que así te quedes más tranquilo/a.
    0 K 9
  51. Joice #51 Joice
    #50 Gracias Leonard, me siento mejor.
    1 K 15
  52. #52 Stv.2
    #4 Pues porque 42.
    0 K 7
  53. #53 Stv.2
    #32 Seguramente no sea ningún problema, a menos que mucha gente se dedique a hacer lo mismo que tu, y además de forma coordinada, no es un problema, es equivalente a cuando alguien simplemente se equivoca.
    0 K 7
  54. #54 Stv.2
    Alguien se olvidó de poner las leyes de la robótica, y luego pasa lo que pasa...
    0 K 7
  55. #55 Stv.2
    #23 Necesitamos un bot de chatgp respondiendo a los comentarios más votados :-D
    0 K 7
  56. #56 Stv.2
    #40 Por supuesto, hay que programarlo, además hay que poner siempre el interruptor en "good", y no "evil", repito, no "evil".
    0 K 7
  57. #57 jaramero
    #24 pero si deja de aprender ya no es una IA, es un algoritmo que para la misma entrada va a generar siempre la misma salida.
    0 K 8
  58. mecha #58 mecha
    #57 no es una IA, le puedes preguntar tú mismo. Usan una IA para aprendizaje, pero no es una IA.
    0 K 7
  59. kaostias #59 kaostias
    #40 En los libros de Asimov, la explicación formal es que, cuando se construye un cerebro positrónico, está diseñado intrínsecamente entorno a esas leyes y, al ser todos los diseños iteraciones sobre la misma tecnología, no es posible anular o reprogramar una ley sin dejar inservible el cerebro
    0 K 6
comentarios cerrados

menéame