Un pequeño grupo de investigadores belgas de la Universidad de Lovaina ha desarrollado un método para engañar a las cámaras que trabajan con inteligencia artificial. Como resultado de la técnica empleada una persona es capaz de pasar frente a uno de estos dispositivos sin ser detectado. El truco se basa en una debilidad en los esquemas de Redes Neuronales Convolucionales, que son conjuntos de neuronas artificiales que imitan la corteza visual primaria del cerebro biológico.
|
etiquetas: ia , cámaras de seguridad , engañar cámaras , redes neuronales 
Descubren un metodo para engañar a un algoritmo que identifica personas basandose en una red neuronal, que está entrenada para identificar patrones, con un patrón distinto al que se le ha entrenado para reconocer.
Es como si "disfrazas" una silla de piano y luego dices que has "engañado" a un programa que identifica sillas y que nunca estuvo pensado para identificar sillas disfrazadas de piano.
¿Que como humanos lo hacemos mejor? Claro... Pero es como decir que una excavadora lo hace mejor que una pala... no por ello diremos que la pala no es una herramienta útil.
Mejor dicho:
Descubren un metodo para que un algoritmo que identifica patrones basandose en una red neuronal no reconozca como uno de los patrones a identificar una alteración del mismo que lo hace parecer una cosa distinta y que nunca han enseñado a reconocer.
Es el equivalente a hacer mala letra para que el OCR no entienda lo que pones... ¿gracioso? La primera vez... ¿noticia? no.
La verdad es que esto me plantea algunas cosas... Si no sabes por que identifica lo que identifica y no hay manera ademas de saberlo porque la red ha evaluado sus propias movidas... ¿En caso de encontrar un fallo en las redes neuronales aplicadas a por ejemplo ciberseguridad (traking de personas en aduanas y aeropuertos por ejemplo)... Cuanto tiempo pasaria hasta que nos diesemos cuenta de que esta colando? ¿Como serian los Day Zero de una red neuronal y lo peor como lo solucionarias si no puedes ver el problema?
Rompen el patrón de lo que es una persona (o de lo que han enseñado al algoritmo que es una persona).
Es lo mismo que con el ocr en los 90... escribiamos una R mal hecha para que el algoritmo la confundiera con una B o una P... pero en aquel entonces ya teníamos claro que el problema es que habiamos hecho mal la R.
Y repito lo que me parece mas diver como desarrollador no es la brecha en si, si no que no sabes por que se produce (ni lo vas a saber) pero ahi está... dando por culo ¿Y si el algoritmo no es capaz de distinguir personas por un cartelito a la cintura como puedes estar seguro de que es capaz de distinguir no se aviones si se le cruza una nube con una forma rarita? Tendrias que probar chopomil millones de nubes hasta dar con la cabrona que resulta que no pilla bien...
en un banco entrenas una IA para que decida a quién dar créditos .
Sabes qué información le has alimentado y qué resultado da, pero no sabes exactamente la fórmula ( si no, no te haría falta una ia)
Ahora llega un fulano al que le has rechazado el crédito y te demanda por discriminacion (es que soy negro y va a ser por eso)
El juez está rumbero y le dice al banco, oye, explícame porqué le has rechazado el crédito, y el banco le cuenta la movida de la IA, pero que no puta idea de porqué lo rechazó.
Multazo por trolero.
Decían que se estaban empezando a diseñar IA inversa, que tradujesen las decisiones de esas IA iniciales a lenguaje humano ... humano -> IA <-> IA -> humano
No se si tiene sentido, pero es interesante
Imagina que yo descubro el truqui para hacer que la IA siempre me conceda el crédito
Cómo evoluciona el marketing por dioss
i.imgur.com/RmfbEsZ.jpg
Es el 'equivalente' a una ilusión óptica para el cerebro humano. Todas las redes neuronales son susceptibles de esto, tanto como para camuflar una cosa como para hacer pasar una cosa por otra.
Se puede hacer a un nivel imperceptible para el ojo humano, por ejemplo en la imagen que adjunto una foto se detecta como panda y la otra como un mono, aunque a ojo humano no se aprecian diferencias.
Edito: estas vulnerabilidades pueden usarse para el mal, como es obvio, haciendo que un coche autómata no detecte una señal o detecte un stop donde hay un límite de 120, por ejemplo.
España: Una mujer....
Jaque mate
La brecha, si la hay, es en el entrenamiento. A la máquina se le habrán pasado tropocientas mil imágenes de personas, y no personas, en el entrenamiento, y se le habrá dicho cuáles son y cuáles no son personas. A partir de ahí tendrá su "idea" de cuándo tiene que decir que detecta una persona y cuándo no.
Imagino, repito, imagino, que una posibilidad de detección de qué es una persona es a base de encontrar los "bordes" de lo que hay en la imagen. Los bordes son, resumiendo, una transición de color/luminosidad, tanto más fáciles de detectar cuanto más contraste haya. También, imagino, la máquina tendrá en cuenta lo que hay dentro de esos bordes. Es decir, está el borde general que es el perfil de una persona (el que coincidiría con su sombra, vamos) y luego el de los distintos elementos: los ojos, boca, nariz, el cuello con el jersey, el jersey con los pantalones, etc.
Supongo que habrá sido entrenado con fotos más o menos actuales de gente, aunque a saber. Lo que sí estoy por asegurar es que el número de fotos, si las hay, de gente con ropas a lo Ágatha Ruíz de la Prada será más bien tirando a bajo.
Bien, me iba a liar más con la explicación de mi suposición pero, al no ser más que una suposición, voy al grano:
Imagina que lo que es capaz de detectar, de interpretar la máquina son figuritas de palo, como las que dibujas al jugar al ahorcado o los personajes de xkcd. Imagina que se ha entrenado la máquina con tooodas las viñetas de xkcd y con la de todos aquellos que hayan dibujado algo así.
La máquina habrá más o menos "aprendido" cuáles son las figuras a reconocer en tanto que, de alguna manera, tienen dos brazos, dos piernas, un tronco y una cabeza.
Y ahora el quid de la cuestión: no en todas las fotos, ni mucho menos, aparecen todos los elementos que compone una figura de esas, pero la máquina aprende igual. ¿Qué sucede? que le damos cierto grado de tolerancia a la máquina, cierto margen de error si se quiere, cierto... "grado de intuición". No es que tenga intuición la máquina, obviamente, pero digamos que la máquina puede partir de "foto de humano en el que se ve el 100%", enseñarle una "foto de humano en el que se ve el 95%" y te lo reconoce igual.
O puede que no, porque dependiendo de cuánto porcentaje falte y, sobre todo, de cuánta sea la variación con respecto a lo aprendido, se le irá el patrón a tomar por saco.
Y lo que les pasa a estos me parece bastante obvio. La máquina ha aprendido que una persona es una especie de continuo entre la cabeza, el tronco y las extremidades. Cuando ese "continuo" se rompe por algún lado, a veces es capaz de "imaginar" que sigue siendo un ser humano (un poco a lo algoritmo de Huffman para corrección de errores de transmisión). Pero si le rompes ese continuo en una parte más bien relativamente grande porcentualmente hablando de lo que esa persona ocupa en pantalla, y además lo haces con un cuadro con cosas completamente aleatorias, le rompes los esquemas.
Yo creo que es algo así y #1 tiene toda la razón. Simplemente se le están enseñando patrones para los que no fue diseñado. A lo mejor le pones el respaldo de una silla delante y, mientras sea algo más o menos "plano" en términos de color, le da igual. Pero a la que empiezas a cambiarle los patrones demasiado, se ve incapaz. Vamos, no es que no sea capaz, es que dice que no hay nada y tan tranquilo.
En un futuro la mayoría de la seguridad estará automatizada, e imagina que has diseñado trajes que evade esa seguridad. O en conflicto armado, imagina que has diseñado estructuras que la IA de los drone no es capaz de reconocer, ¡evades el fuego enemigo!
Todo lo que sea engañar a la IA, tiene muchísimas implicaciones futuras en materia militar.
Lo suficientemente distópico para que le den a la patrulla una dirección donde hay un problema y un código de riesgo predictivo según un cruce de datos para que se vayan preparando para usar la fuerza.
En Propublica tienes bastantes casos de sesgos en la aplicación de inteligencia artificial, y en muchos campos donde se usan difícilmente imaginable.
(otra cosa que se hace en algunos sitios, que se usa el código postal, donde casualmente vive más gente de cierta nacionalidad/raza)
A ver si me explico, claro que simplemente es que joder pues se han puesto un puto cartel delante y vaya se han "disfrazao" pero la cosa al menos que yo veo tiene implicaciones mas complejas:
-Yo valido un algoritmo hecho por mi cuando doy por observados todos los casos de usos y requisitos, esto es funcionará en toda situacion con toda entrada del rango esperado, eso es un algoritmo válido para mi desde el punto de vista de desarrollo, mis variables de entrada son conocidas mi resultado es conocido y tate una vez que acotas eso, todo lo que entra responde, es deterministico.
-Aqui siempre he escuchado hablar de un futuro esperanzador de las IA en base a que generarian algoritmos deterministas a base de un bruto de datos de ni su puta madre, un proceso de ni su puta madre y obtendrian gracias a las iteraciones del aprendizaje un resultado determinista.
-Resulta que el punto 2 falla,y estrepitosamente con una simple hija de papel puesta en la cintura, la implicacion mas grave que veo es... ¿Y como testeo el fallo? Esto es un cartel, pero imaginemos que yo me monto una IA para evaluar riesgos de clientes en base a la ingente cantidad de datos online de la vida de una persona para concederle un prestamo y esta IA funciona aparentemente de puta madre, hace un estudio serio y bastante predictivo del comportamiento financiero responsable de un tipo en base vete tu a saber que desde su predileccion de compras en amazon hasta el porno que consume en su intimidad pero.... ¿Y si por algun motivo raruno el cacharro ha deducido que la gente que tenia una cuenta de correo de ole.com siempre paga y lo utiliza como una variable de peso y aprueba por sistema a todos aquellos que la tienen? Tardarias años en enterarte de ese fallo, pero con el suficiente numero de fallos alguien se coscaria del tema se haria una cuenta de ole.com y empezaria a vivir de gorra pidiendo creditos que siempre le aprobarian ¿Cuanto tiempo podria pasar hasta que alguien se coscase de esto teniendo en cuenta que el codigo, el algoritmo que determina esto.... no es auditable? ¿Cuantos accidentes de trafico habrian hasta que te dieses cuenta de que la IA que controla tu coche autonomo… » ver todo el comentario
Aquí se pueden comprar: cloakwear.co/
A mi me preocupa que un coche autónomo no frene cuando vaya a cruzar un paso de peatones porque lleve una carpeta de la mano.
Mira tú, con una "old fashion" YOLOv2 preentrenada, sí funciona. Y ya todos paranoicos que parece el fin del mundo...
Mientras tanto, la gente que se dedica al single person tracking de supermercados, en los que identifican por ejemplo si coges la caja de cereales, tu cara, sabe quién eres y lo que te llevas.... riéndose de los cuatro matados de una universidad perdida en mitad de un monte que ni siquiera tienen medios para entrenar su propia red.
Y se le pueden explicar a un juez como funciona un algoritmo de ML, después del fiasco de Oracle con el "contar los caracteres de una cadena" creo que siempre hay un experto en informática para estos casos y le contaría como funciona.
No es una "caja negra" como quieren contar, es una "regresión lineal o logaritmica" pero con más complejidad y más variables... y la única cosa es que las variables iniciales las escoge el humano (aquí puede haber discriminación / sesgo) pero otras variables las escoge la máquina para ajustar la función al muestreo (donde también puede haber discriminación / sesgo).
Repito, no es una "caja negra", con explicar que no hay discriminación en las features seleccionadas y en el muestreo cualquier juez, asesorado por un informático con conocimientos de ML, dará la razón al banco.
Es más, al final del paper:
We believe that, if we combine this technique with asophisticated clothing simulation, we can design a T-shirtprint that can make a person virtually invisible for automaticsurveillance cameras (using the YOLO detector).
Our current patches do not transfer well to completely different architectures like Faster R-CNN
Vaya, que alarma ninguna y sensacionalista todo lo que se quiera.
La máquina no genera ningún algoritmo, no genera ningún proceso como tal. No sé hasta qué punto estás puesto en redes neuronales (me da que menos que yo, que ya es decir
Resumiendo y simplificando: una red neuronal tiene una capa de entrada que es del tamaño del número de elementos de los que consta tu patrón de entrenamiento. En este caso podrían ser miles de elementos (neuronas) si cada uno de ellos es un pixel de una imagen en HD, por poner un ejemplo. Luego tienes tantas capas intermedias como gustes y una capa final que, en este caso, es una sola neurona que dice 1 ó 0 en función de si es persona o no lo que le has puesto. Repito, esto es simplificando.
Entre cada capa de neuronas (que, por cierto, el número de elementos de cada capa es arbitrario) hay una relación por la cual el valor que le llega a una determinada neurona N de la capa C es la suma (se supone que estamos hablando de números, siempre puedes convertir el concepto "color" de un pixel a su código RGB, que no deja de ser un número) de los valores de ciertas neuronas (puede ser una, pueden ser varias) de la capa anterior (y si lo queremos complicar, de varias capas anteriores y hasta de capas siguientes) y cada uno de los sumandos se ve alterado por cierto peso P. Una vez calculada esa suma ponderada, la neurona proporciona ese valor a la(s) siguiente(s) neurona(s) que necesiten de su resultado y así hasta llegar a la capa de la salida. Te recomiendo un vistazo rápido a en.wikipedia.org/wiki/ADALINE que es la base fundamental, una sola neurona con múltiples entradas y una salida.
En la fase de entrenamiento el algoritmo de aprendizaje trata de ir ajustando los valores de esos pesos P de acuerdo a la salida esperada que le proporcionas. Y sí, eso puede ser algo muy complicado y pueden llegar a suceder cosas como que cuanto más entrenes, menos aprenda. Por eso establecer el conjunto de elementos de entrenamiento es vital.
Por ejemplo, tú le puedes establecer una red las siguientes ternas, en las que los dos primeros elementos son las entradas y el tercero es la salida esperada: (2,2,4) (1,4,5) (10,10,20) y no te costará deducir que estás sumando. Pero la máquina no sabe qué es lo que está haciendo. Y si le pones sólamente ese… » ver todo el comentario
Se más o menos como funciona, no hace falta que me lo vuelvas a explicar , si uso el término algoritmo es por referirme a la manera de ponderar pero vuelvo a repetir que pasa cuando los datos de entrada no son tan obvios
Yo entreno un cacharro para detectar fraude por ejemplo (y de hecho se usan) le metes datos de cientos de transferencias y lo entrenas en detectar las anómalas hasta que tiene un número lo suficientemente tocho como para ponderar cual es buena y cual no.
Lo pones en pro, pasa el tiempo y descubres que joder a veces falla, has cazado por otros métodos algunos casos donde no lo ha cazado... Repito la pregunta ¿Como lo reeducas para esos casos anómalos que han colado?
Has detectado 3 casos anómalos, si lo metes a la red son solo 3 no va a ponderarlos, el grueso de sus datos de entrada le dicen que ostia eso no tiene importancia y si los ponderas con estos 3 últimos valen más ¿Como te aseguras de no joder los pesos de los demás indicadores?
En tu ejemplo de Kodak es que hubiese un color nuevo que te dicen que existe pero los ingenieros de Kodak son todos daltónico y solo saben que ahí hay algo que su papel no capta
¿Cuántos accidentes de tráfico necesitas para corregir que tú IA confunde los pixeles inferiores izquierdos con una roca, mete un volantazo y estampa el coche?
Vamos a mi no me parece un problema para nada simple...
Cuando entrenas a la red, le proporcionas imágenes de personas ya etiquetadas y en base a esto la red va encontrando patrones, ¿qué patrones? no se sabe, sería muy complejo extraerlos (si no no se usaría una red neuronal). La cosa es que tu como humano tienes un patrón en tu mente de que una persona tiene unas características y la IA va a hacer lo mismo, pero su patrón va a ser mas del estilo: si un conjunto de pixeles aquí tiene este valor, y a tal distancia este otro conjunto tiene este otro valor y así. Si tu a la red le proporcionas solo ese patrón, sin el resto de la persona, va a detectar una persona. Al revés lo mismo, puede que haya identificado ciertos patrones que excluyen a una persona. Si le presentas una persona que incluya ese patrón, no será detectada. Esto se puede corregir reentrenando la red y corrigiéndola en función a sus fallos, pero siempre siempre se la va a poder engañar. Además es relativamente sencillo generar imágenes trucadas, pero imposible hacerlo inmune a todas las imagenes trucadas.
Si estas hablando de algo tan sencillo como identificar imagenes, que puedes entender bien cual es el fallo.
Ahora imagina las que buscan patrones de anomalias en transferencias bancarias para rastrear fraude, cientos de miles de transferencias y joder claro que la entrenas y te pilla los patrones, pero ahora identificas uno nuevo, no sabes exactamente como cazarlo pero sabes (por otros metodos porque la policia pillo al tipo vaya usted a saber por que) que ahi hay una anomalia... ¿Como entrenas al bicho cuando solo tienes un caso?
¿Y si es mas grave? ¿Y si es la IA que maneja tu coche autonomo que se comporta siempre bien pero tienes casos de accidentes que no sabes explicar? yo que se, un charco con gasofa en la carretera que al darle el sol deslumbra y confunde al sensor y pega un volantazo, pero tu no sabes exactamente que es de los porrón de sensores e infromacion que le llega lo que la confunde... ¿Cuantos accidentes tendrias que tener hasta corregirlo... o dicho de otra manera... Cuanta gente tendria que morir hasta que la IA aprenda?
A lo que voy es que con la programacion dirigida amos, la tradicional (y no es por barrer pa casa, me parece estupenda la IA pero nunca he escuchado hablar de este tema en concreto) a mi me dicen que hay un caso de fallo, y aun sin saber de los datos de entrada que es lo que provoca la salida anomala puedo debuguear, encontrar el error y repararlo de forma precisa, quirurgica, me llevará mas o menos tiempo pero solo necesito 1 caso de error para identificar el problema en el flujo y corregirlo. Una IA entrenada no, para volver a entrenar a la IA necesitarias muchos para que no te mande a la mierda misma la ponderacion de los demas factores pero... ¿Y si no puedes ofrecerle muchos porque son raros o eticamente reprobables?
Pero es lo que dices, ya bastante complicado es un tren yendo por carriles, lo va a hacer un coche...
Y que nadie me hable del piloto automático de los aviones que me da la risa.