Países Bajos veta un algoritmo acusado de estigmatizar a los más desfavorecidos

Un tribunal neerlandés ha decidido que SyRI (acrónimo de System Risk Indication), un sistema de análisis para rastrear posibles fraudes al Estado utilizado por el Gobierno, “no respeta la privacidad del ciudadano y vulnera el artículo 8 de la Convención Europea de Derechos Humanos”, relativo al derecho a la vida privada. En octubre, el relator especial de la ONU sobre pobreza y derechos humanos, remitió un informe al tribunal criticando que SyRI “señala a los ciudadanos con menos renta y a grupos de población de origen inmigrante”

[#1 aunotrovago]

El color de pelo también ha sido eliminado.

[#2 manson2000]

Interesante. Es un algoritmo para detectar posible fraude...y lo importante es no que acierte o falle sino que fijate tu señala lo de menos renta e inmigrantes (insisto en que un algoritmo y que no se dice si acierta o falla, sino que no nos gusta ahora donde señala con independencia de si acierta o falla que es lo que debería importar).

[#3 Molari]

#2 Bueno, no tenemos toda la información. Quizá el algoritmo no acertaba pero se mantenía la persecución a las clases bajas y pobres.

[#4 manson2000]

#3 Entonces se debe quitar porque falla no porque señale a estos o lo otros. El valor del algoritmo es que acierte. Si falla a la basura. Si acierta que se use. Lo demas debe dar absolutamente igual.

PD : Como resulte que acertara y que se ha retirado por quien señalaba... se esta amparando el fraude. Vía libre a la ultra...

[#5 --626904--]

#4 No, si la ultraderecha hace ya medio año que se quedó con el Senado del Reino, ahora van a por el Parlamento. Es lo que suele pasar cuando tratas de tapar los problemas en vez de manejarlos.

[#6 Molari]

#4 Leyendo la noticia se puede intuir que el juez a fallado contra el algoritmo porque se han negado a mostrar con detalle el algoritmo.

[#7 jonolulu]

#2

Para calcular posibles irregularidades, los algoritmos enlazan todos los datos personales de sus residentes almacenados por instancias gubernamentales. Esos datos se comparan luego con el perfil de riesgo creado a partir de la información de otros ciudadanos que sí han delinquido

Que vivas de con una renta o en un barrio determinado no puede asimilar te a un delincuente, por mucho que te pese

[#8 jonolulu]

Aquí está la madre del cordero que señala el relator de la ONU

“Los Estados de Bienestar digitales se arriesgan a convertirse en caballos de Troya para la hostilidad neoliberal hacia la protección social y la regulación”

[#9 manson2000]

#6 Curioso que los jueces no evaluen los resultados (ha acertado? ha fallado?). Pero vamos, que si el problema es ese, que le informen al juez a puerta cerrada del mecanismo de calculo.

[#10 manson2000]

#7 No me pesa en absoluto. El algoritmo solo calcula sobre determinado barrio o los resultados llevan a determinados barrios? (por cierto, el algoritmo parece que señala señores no barrios...).

[#11 Res_cogitans]

#2 Es un titular sensacionalista para el meneante medio que no sabe leer más que una frase y se cansa. Si ya en la entradilla dice que el motivo del veto ha sido la sentencia de un tribunal, que ha considerado que viola la privacidad del ciudadano y la Convención Europea de los Derechos Humanos. Es decir, no se ha vetado por el motivo que sugiere el titular.

Es lamentable que tengamos que repetir parte de la noticia en los comentarios porque la gente no lee.

[#12 manson2000]

#11 Pues bravo. Vamos a proteger al que comete fraude. Deberíamos defender con uñas y dientes el que el dinero público llegue al que lo necesita y no "al de al lado". Del mismo modo, me parece estupendo que Hacienda cruce datos con dios y su madre para pescar al que delinque en el pago de impuestos.

[#13 zentropia]

#2 Es más complicado que eso. El algoritmo puede acertar porque usa tu color de piel en vez de analizar verdaras razones de riesgo como estabilidad laboral o consumo de drogas. Y si tienes estabilidad laboral y buenos hábitos saludables si el algortimo está mal hecho te jodes por tener el color de piel equivocado.

[#14 ElTioPaco]

#2 sabes que es lo malo de los algoritmos de este estilo? Que generalizan.

Y un algoritmo que te marca como estafador por ser pobre e inmigrante solo porque otros pobres e inmigrantes sean estafadores, puede que tenga o no razón.

Pero tú al ser acusado injustamente tienes derecho a denunciar, no al algoritmo sino a la empresa que lo ha programado y al gobierno que lo ha comprado.

Económicamente hablando sale mucho mejor que denuncies por racista al funcionario que te acusa de estafador potencial.

Eso cada día lo veremos más con la IA y estos algoritmos, no se extenderán tanto como creemos porque carecen de responsabilidad penal sobre las conclusiones que lleguen, así que la responsabilidad salta al peldaño de la gente con corbata, y eso, no mola.

[#15 CrudaVerdad]

Ahora cambiarán el algoritmo a este:

Print("hombre blanco nativo heterosexual es un riesgo total")

Será lo único aceptado

[#16 Res_cogitans]

#12 Nada de lo que dices se puede deducir de lo que he dicho ni de lo que dice la sentencia ni la legislación europea. Entiendo que cuando no te gusta algo, solo pienses en que los demás están de acuerdo en cualquier simpleza que te inventes, pero no cuela.

Por otro lado, el sistema, por lo poco que menciona la noticia, no persigue al delincuente, sino que clasifica a los individuos a priori para ser investigados. Ese tipo de investigación prospectiva "para ver si encuentro algo" está prohibida para el sistema de justicia y el estado no puede hacerla. Si no, un comisario de la policía/juez/funcionario cualquiera que te tuviera manía podría investigarte para ver si has hecho algo ilegal y joderte la vida. La acción del estado se basa y debe basarse en hechos denunciados y en irregularidades manifiestas.

[#17 manson2000]

#13 Entonces si tienes el color de piel adecuado puedes cometer fraude? o no debería importar nada mas que el hecho de cometer fraude para combatir el fraude. Si no tengo habitos saludables puedo cometer fraude? o la respuesta correcta es NO y lo que debería ocurrir es que tuviera oportunidades de de tener habitos saludables.

[#18 manson2000]

#16

para ver si encuentro algo" está prohibida para el sistema de justicia y el estado no puede hacerla Eso no es cierto. Hacienda Pública investiga a unos colectivos mas que otros porque es más probable encontrar fraude en uno sitios que otros. Y cuando digo investigar digo inspeccionar y cruzar datos.

Si no te gusta, riñes a Hacienda.

[#19 manson2000]

#14 algoritmo que te marca como estafador por ser pobre e inmigrante solo porque otros pobres e inmigrantes sean estafadores, puede que tenga o no razón.

Es que no hace eso. Lo que hace es cruzar evaluar datos variados para ver si eres "candidato" a abrir una investigación sobre fraude. Esto por cierto, se hace a mano. Ejemplo, un trabajador social que ve que uno de sus beneficiados tiene dos coches nuevos...

El algoritmo no condena a nadie. Dice quien con X condiciones podría ser un buen candidato de fraude. Un escandalo!!!

[#20 ElTioPaco]

#19 si se hiciera a mano no lo habrían echado Tras por vulnerar privacidad tampoco.

[#21 manson2000]

#20 Curioso verdad?. Si un ser humano hace ese cruce esta bien (funcionario diligente). Si se automatiza un conjuto de test estandar que realizan los funcionarios...que escandalo!!!

[#22 Molari]

#17 Si el que programó el algoritmo tiene los preojuicios equivocados, puede que lo de buena familia se libren de ser investigados tanto como deberían

[#23 Res_cogitans]

#18 Hacienda no debe usar datos ajenos a los declarados y otros datos económicos. Por ejemplo, revisar tu consumo de luz o agua en una vivienda para ver si está alquilada no debe hacerse más que a aquellas personas sobre las que se hayan detectado irregularidades. Hacerlo raya la violación del derecho a la intimidad y el estado se ampara en que es solo un procedimiento administrativo, pero no deberíamos permitírselo. De hecho, que hacienda te pueda poner multas por supuesto fraude sin llegar a juicio ya es bastante controvertido. Muchas de esas multas, cuando son recurridas en la vía judicial, resultan en la absolución del acusado.

[#24 ElTioPaco]

#21 como he dicho en mi primer post, la responsabilidad que recae sobre un ser humano, es un bien muy muy preciado.

[#25 manson2000]

#22 Me parece bien el condicional... que lo testeen (y me parece muy bien que los jueces pidan claridad al respecto aunque fuera a puerta cerrada). Pero desde luego me parece muy bien que se sistematice la lucha contra el fraude en todas sus formas (pot ejemplo la lucha de HAcienda contra el fraude cruzando mil y un datos).

[#26 manson2000]

#24 Mucho mucho. Y la lucha contra el fraude tambien es un bien muy muy preciado. Pero mucho mucho mucho.

[#27 manson2000]

#23 Mentira. Hacienda cruza por ejemplo consumos electricos para detectar alquileres no declarados y lo hace SISTEMATICAMENTE (junto con n datos mas). Y no lo digo yo, lo dicen inspectores. Y si te parece mal, pleitea...pero lo pierdes (lo he visto).

[#28 Res_cogitans]

#27 Según Hacienda, no hace eso, sino que es sobre aquellas personas en las que se han detectado previamente irregularidades. Además, el artículo que enlazo muestra casos de gente que ha pleiteado y ha ganado.

Desde el Ministerio de Hacienda, señalan que el consumo eléctrico solo es uno de los muchos elementos que se usan para trabajar en los planes de inspección, un filtro más que ayuda a comprobar aquellas declaraciones en las que "se han detectado inconsistencias". La Agencia Tributaria insiste en que no analiza el gasto energético en todas las viviendas que se aplican una deducción, sino que es un factor más de control cuando se detectan irregularidades en las declaraciones.

www.elconfidencial.com/espana/2019-02-14/hacienda-consumo-luz-deduccio

[#29 manson2000]

#28 Perdona pero el articulo que has puesto no tiene nada que ver. Habla de unas deducciones sobre vivienda habitual.

Y Hacienda SI cruza datos continuamente y cada vez más (van ademas en todas las direcciones). He trabajado años "cerca" del estado (y a los inspectores les llegan buenos "candidatos" que ya han cantado en cruce).

[#31 manson2000]

#30 Desconozco todo del asunto la verdad.

[#32 bicha]

#2 a lo mejor solo fallaba con las clases altas...