La idea era hacer estadísticas al estilo que se hizo con El País en www.meneame.net/story/editoriales-pais-1976-2016
Pero como finalmente no voy a tener tiempo lo dejo aquí por si alguien se anima
Si queréis, dejar comentarios sobre que estadísticas os gustaría que sacara quien se decida a usar el yaml.
Ejemplo de la información que contiene (muestro el primer y último item del fichero):
author: gallir
body: Pues sí, a las 5 de la mañana he acabado de subir los ficheros y la base de
datos para empezar a probar este servidor. Espero que los amigos se den cuenta.
comments: 5
id: 1
karma: 11
published: 1133928456
sent: 1133928253
story: www.meneame.net/story/esta-es-la-primer-noticia-meneada
sub: mnm
tags: primera noticia, menéame, hello world, primer meneo
title: Ésta es la primera noticia meneada
url: mnm.uib.es/gallir/meneame
votes:
anonymous: 0
negative: 0
users: 246
---
[...]
---
author: GeneRoddenberry
body: María Ángeles Martínez Paños, que hace unos días ocupó las portadas de los medios
de comunicación por justificar los escraches antiabortistas, ha utilizado su puesto
de concejala de la Mujer para entregar ayudas públicas a un colectivo que ella misma
preside.
comments: 74
id: 2646899
karma: 571
published: 1468862402
sent: 1468858612
story: www.meneame.net/story/edil-pp-albacete-autoconcede-subvenciones-financ
sub: actualidad
tags: pp, albacete, corrupción, subvenciones, antiaborto
title: Una edil del PP en Albacete se autoconcede subvenciones para financiar su asociación
antiabortista
url: www.periodicoclm.es/articulo/albacete/concejala-mujer-pp-albacete-da-s
votes:
anonymous: 1315
negative: 1
users: 469
#6 ya, la idea era precisamente aprovechar para aprender R. Pero como he dicho, ahora no voy a tener tiempo de hacerlo como me gustaría +mi idea era analizar mucho más que los tags en el tiempo, por eso el yaml es tan tocho) y prefiero dejar aqui el yaml a arriesgarme a que se quede un directorio olvidado
A ver si hay suerte y quien lo use detalla como lo hace y así me sirve de ejemplo practico.
#8 Si estas pensando en JSON o XML seria facil hacer una conversion directa con algun programiña (seguro que ya hay algo hecho para eso) o mismamente a mano con un script python que lea el yaml guardandolo en un array y luego haga un json.dumps o similar.
Yo lo he hecho en yaml simplemente porque así era mas facil revisar el resultado y ocupaba menos que un json o xml. Pero si, luego probablemente lo habria convertido a otra cosa.
#2 yo tengo hecho un scrapper y tengo un json igualito que tu yaml... estoy trabajando en con Rstudio, ggplot2 etc y he generado bastantes estadísticas. Me ha hecho mucha gracia justo encontrar esto ahora en portada
Yo tengo en realidad también las publicadas en portada y las que no llegaron a portada, de hecho tengo un random forest que predice la probabilidad de que una noticia llegue a portada dados ciertos parámetros.
#9 el problema no está en el catalán ni en los comentarios catalanes, está en que alguien conteste en catalán a un comentario en castellano. Si al que respondes no sabe catalán no tiene sentido. Y lo comento porque me ha pasado que me respondan en catálan y eso no es ni medio normal.
#2 Si quieres yo te paso la base de datos con los comentarios también y ya de puestos... los votos de las noticias y comentarios desde hace algo menos de un año con un error bastante bajo en cuanto a votos que no tengo (suelen ser negativos)
En su día pedí esta información al propio Menéame (antes y después del cambio de dueños incluso) pero siempre han pasado de mí... así que... me las tuve que agenciar
Nota: estoy investigando con redes sociales y machaco Menéame al menos 10-12 veces al día para recoger datos (scripts hechos en Ruby por cierto).
#23 ¿Podrías dar más información? ¿O cómo me puedo poner en contacto contigo? Llevo trabajando en este tema bastante tiempo (desde otro punto de vista) y sería interesante saber qué hacéis o incluso colaborar
#4 Numero de noticias negativas sobre Haiti y Bangladesh que han llegado a portada. Comparativa vs noticias negativas de Venezuela y Cuba. Comparar a PP con Podemos... Ay que me dezorino.
#59 Joder, pero es que ni habiendo sesgo se pueden comparar millones de tramas de corrupción y años de "democracia" del PP con lo que pudiera sacarse de Podemos ni aun buscando la última coma como se les busca. Lo dicho, si buscas comprobar un sesgo quizás vale comparar Podemos VS Ciudadanos, pero comparar con el PP no permite llegar a ninguna conclusión (mas que sobre la miseria de este partido en concreto)
#54 claro culturalmente históricamente y políticamente Haití y Bangladesh están al nivel de interés para la sociedad española de Venezuela y Cuba...
Para un comunista nazi tal vez.
Un poco de risas con los datos y un generador de titulares y entradillas:
Canal 9 pagará 6 millones de euros en militarizar su uniforme El 6 de diciembre. Todos los efectos del cromosoma Y. Otros genes asumen el puesto de Subdirector General de Personal y Pensiones Públicas a la que las gráficas no muestran problemas es el gas natural, 3, según ha informado hoy la entidad. Según consideró," el riesgo nuclear iraní está reforzado por sus políticas" [...]
---------- ¿Viola VMWare la licencia GPL Navegando por la red de autovías
---------- El hombre que podría haber 1. 000 ingresos en seis años y no es un robo, un chantaje y una extorsión" (26. 06. 1 LTS Kanichi Kashimura fue un as de la programación e Internet, móvil i Business Services), Jazztel, Ono, Ya. com por Barlovento.
---------- Cuidado con la bolsa de valores Tras ser pillada jugando y negarlo después. Ahora el Congreso de los diputados.
---------- 51 errores que cometen algunos dueños de perros Un grupo de estrellas del rock que se embarcaban en la aventura 6, 6 - 7 (5 - 15 minutos), a tipos de interés.
---------- Microsoft desarrolla un software llamado PhotoDNA para ayudar a salir de la crisis Uno de los investigados había recurrido a la subida de 1, 8 puntos por encima del respeto a los Derechos Humanos de Estrasburgo, en relación a como esta influencia se está trasladando a nuestras escuelas:" Los problemas de visión crónicos, según ha informado la Policía Nacional han detenido en Barcelona por agentes del GOPES y el 911 cuando ya estaban esposados en el interior de un camión.
---------- En Alemania las renovables superan por primera vez ¿Harto de pagarle a tu hijo y él te levanta la mano. Yo digo que una víctima del pez piedra [...]
---------- Gibraltar: Una patrullera de Gibraltar aborta una persecución de la Guardia Civil" La Guardia Civil de Tres Cantos; mientras que al hacer el check - in, prueba las demos y flipa. ¿Adiós Flash? Via reddit.
---------- El escritor vasco Kirmen Uribe, Premio Nacional de las Músicas Actuales La campaña" patriótica" del Partido Popular para hacer la propia filtración. Hoy las ciudades japonesas ves gente en bicicleta mires donde mires y en ciudades enteras de Florida, donde a modo de póster en muchas consultas de otorrinos de todo el territorio y hoy en día un imposible.
---------- Crea tu propio Google Earth Preciosa foto del espacio tomada por la Junta… » ver todo el comentario
#35 Pues eso no es nada, a mi una vez me respondieron con una frase en Inglés. Casi me da un síncope y me subía por las paredes, no podía soportarlo. Si me vuelve a suceder, yo creo no volveré a conectarme a Internet. ¿Puedes imaginártelo? Tremendo, apocalíptico...
#72 capto la ironía pero no la suscribo. Existe una cosa llamada respeto, algo que se tiene cuando procuras responder a tu interlocutor en el mismo idioma con el que escribió el comentario.
¿A un turista que te pregunta en inglés le responderías en otro idioma aún pudiéndolo hacer en inglés? Normalmente no, pues en internet tampoco.
#69 no como tu, que si se muere tu padre, que te importa lo mismo que si se muere el padre de un haitiano o de tu vecino.
Cuba y venezuela son referentes como alternativas politicas mundiales, haiti y bangladesh no.
Cuba y venezuela fueron españolas, haiti 200 años pero paso a ser francesa y os vinculos se perdieron y bangladesh no.
En cuba y en venezuela hablan español, en haiti y bangladesh no.
En cuba y venezuela han vivido y vivien muchos españoles y a la inversa, de haiti y bangladesh alguno hay pero no es lo corriente.
Y segun tu tienen la misma relevancia internacional... y concretamente en españa. Para un comunistanazi puede ser.
Es como si me dices que importa lo mismo zimbague que eeuu, y que si no importa lo mismo es que los medios son etnocentristas. Ridiculo.
#75 Si es lo que yo he dicho, la próxima vez que alguien me responda con una frase en inglés a uno de mis comentarios, aquí va a pasar algo gordo. ¡¿Pero como se atreven?!
#91 Quiero llegar a que deberías ignorar lo que no te interesa. Si una persona que responde en catalán a los demás es ignorada por todos, posiblemente dejará de hacerlo, o por otro lado, ya no será molesto porque estaría siendo ignorado.
Si alguien presta atención a esas respuestas en catalán, pues será asunto de ellos, y si se ignora, tampoco será molesto.
#87 es que no lo es.
Son paises mucho mas importantes no solo por afinidad cultural, tambien se habla mas de ellos en eeuu o en europa. Es como si me dices que deberían de salir en los medios en misma proporción Kazajistán que corea del norte, pues mira no.
Y me respondes ami, lo logico es que me lo estes diciendo ami.
Si yo te cito y digo borregismo a tope, que pensarias, que hablo de los medios o de ti?
Lo de meterme con tu nick tampoco te lo tomes a mal, creo que fibrolizas con cosas que no deberias y das la impresion de tomarte todo a coña, que no te equivoques porque yo soy un cachondo. Pero no es el nick sino tu vision que para mi no va con maldad pero si la veo poco madura. Pensar que cuba o venezuela deberian importar tanto como haiti o bangladesh es no entender el mundo, y ojo obviamente todo ser humano vale o deberia de valer lo mismo, pero no es lo mismo corea del norte que kazajistan, ni es lo mismo australia que eeuu, cada pais tiene su papel y su peso en el mundo y ademas con respecto a la propia nacion en la que vivimos
#67 ¿Me ayudas a montar una web para poder navegar por los datos?
Es algo que tengo pendiente de hacer, porque aunque es interesante poder tener todos los datos también lo es poder obtenerlos filtrados (por ejemplo, durante un perídoo de tiempo, con o sin votos, comentarios o votos de un determinado usuario... etc...).
También está el tema de la privacidad, justamente es en lo que estoy trabajando porque aunque cualquiera puede hacer lo que yo... deduzco que cualquier usuario también tiene derecho a que no se le identifique (y eso es algo que ahora mismo es posible si publicase la base de datos tal cual).
#94 Sobre lo de la privacidad: Deduzco que lo que has hecho es o ir leyendo los feed de meneame o scrapping del portal, en ambos casos la información que tiene tu base de datos es información ya publica. Lo único que quizá podría ser "sensible" son los nicks de aquellos usuarios que cuando almacenaste sus datos no habían eliminado aún su cuenta y ahora ya no la tienen, porque en ese caso meneame ya no muestra sus nick (en su lugar muestra su antiguo id) pero tu base de datos si. Si es eso lo que te preocupa podrías sustituir cada nick por su id.
La forma que se me ha ocurrido para ver el id de un nick (probablemente haya formas mejores) es ir a su perfil, por ejemplo www.meneame.net/user/cyttorak, y obtenerlo del parámetro sent_by del link a su rss ( www.meneame.net/rss?sent_by=76043 ). Eso al menos con los que aún sigan registrados. Los que se hayan dado de baja desde que generaste la base de datos, simplemente con volver a consultar alguno de sus comentarios te saldrá como autor --XXXXX-- siendo XXXXX el id buscado.
Con ese cambio, tu base de datos daría la misma información o menos que ya da el propio portal de meneame.net
Sobre tu nota de #47, yo lo he hecho con bash y python. Un .sh se baja todas las páginas que hay de la portada y la mayoría de sus historias, y un .py que para crear el yaml lee los html locales y solo accede remotamente a meneame cuando le falta alguna historia. Lo hago así para que el .py trabaje la mayor parte del tiempo en local y así poder hacerle modificaciones y relanzarlo sin estar friendo a llamadas a meneame.
Lo único, es que por lo que he podido revisar de las pocas historias que me salen sin tags en mi yaml, hay alguna que si la visito manualmente si que tiene tags. Puede que haya algún error en el parseo, en cualquier caso parece que ha afectado a muy pocas historias (solo he encontrado un caso de error).
#55 Me tienta escribirte yo también pero como ya decía al principio del meneo ahora ando mal de tiempo como para ofrecerme a colaborar sin garantías de hacerlo como me gustaría, sin embargo quisiera estar al tanto de lo que hacéis, ¿tenéis alguna lista de correo, repositorio o lo que sea para seguiros?
#94 La verdad es que no se si lo haría de manera eficiente, me imagino que habría que diseñar una base de datos sobre los datos que se tienen, hacer un script y pasarlos(y que se puedan ir añadiendo nuevos semana a semana o lo que sea).
Sobre eso presentar los datos con alguna libreria para mostrar tablas www.editablegrid.net/en/
Pero no se, habias pensado en algo más?
Como querrias mostrar los datos?
La verdad es que el tema de los nicks que comentas le quita bastante juego al asunto.
Yo hace tiempo pense que estaria bien poder calificar las preguntas con "a quien benefician" o algo asi para poder hacer estadisticas politicas y ve quien vota que y poder ver un poco el comportamiento de la gente como reaccionan y como votan en cada momento, hacer un analisis un poco mayor.
#95 Así es, tengo una serie de scripts que analizan cada noticia nueva y la monitorizan hasta 60 días (analizando comentarios y votos de las noticias y de los comentarios lógicamente).
Ciertamente la información es pública (y así consta en la licencia del sitio) pero no lo es la de los votos una vez el sistema no ofrece datos con más de 30 días de antigüedad.
Eliminar los nicks (usando un pseudónimo) es necesario pero no es suficiente para poder identificar la actividad de un usuario (busca el escándalo con la base de datos de IMDB y un set de datos que Netflix publicó en su día...), se necesita hacer algo más para poder garantizar la privacidad de los usuarios en el supuesto de que se quisiese publicar dicha base de datos (y a mayores garantizar el poder realizar estadísticas y análisis en dichos datos con garantías de que son muy similares a si lo hicieses sobre la versión sin anonimizar
El identificador único del usuario como bien dices lo obtienes de su perfil, pero da igual eso porque el propio nombre de usuario es único (si el usuario como bien dices se da baja obtiene uno con el patrón que indicas, que sigue siendo único). Hay identificadores numéricos porque se diseñó la base de datos de esa forma, pero no son necesarios... como ya digo el nombre de usuario es suficiente.
La información que obtienes, ciertamente la vas a tener siempre, porque es texto, sin embargo, la información de votos has de comprobarla cada X tiempo (esto me ha llevado bastante tiempo de experimentación para afinar mis scripts para que no machaquen el servidor pidiendo la misma información una y otra vez...). Aunque como ya he dicho... si me hubiesen contestado los @admin del sitio... no tendría que haber empleado tanto tiempo en algo que se podría haber hecho con un simple 'mysldump'...
Hay ciertas noticias para las que necesitas un usuario válido en el sistema así que es posible que tengas más errores de los que crees. Como ya digo, hay pequeños detalles que no son triviales y requieren un análisis del funcionamiento del sitio.
Me acabo de dar cuenta de que había un error en el script en la parte que contabilizaba el número de comentarios
Subo aquí una nueva versión corregida del fichero yaml (comprimido con 7zip) www.filedropper.com/meneameyml_1 (29MB) De paso ahora incluye hasta el 21/07/2016 @Yonseca Lo mismo te interesa volver a pasar su conversión a sql/json
Nota: Otra modificación que he hecho es que no ponga el campo "tags" si no hay etiquetas (antes, en tal caso, ponía "tags: null" o algo así)
#97 He buscando lo de IMDB y Netflix y he encontrado esto: archive.wired.com/politics/security/commentary/securitymatters/2007/12
Por lo que he entendido la idea muy simplificada sería esta:
Fulano ve en Netflix: Juego de Tronos, Mr Robot, Mad Men, House of Cards y Hannah Montana.
A Fulano le da vergüenza admitir que ve Hannah Montana pero las otras no, así que hace criticas en IMDB sobre las otras series.
Netflix publica su base de datos y donde pone "Fulano" pone "fsfdsfa3rewjfsd".
Unos tíos cruzan los datos de Netflix con IMDB y scan que "fsfdsfa3rewjfsd" es Fulano.
Ahora todos sabemos que Fulano es fan de Hannah Montana.
Si es así, para tener un problema análogo al de Netflix/IMDB la base de datos no debería estar hecha con scrapping o leyendo feed, si no que tendría que ser una base de datos proporcionada por los admin donde hubiera más datos que los que se pueden sacar vía scrapping/feed, y entonces sí, podría darse el caso de que alguien cruzándola con el propio portal o con alguna otra cosa las desanonimizara consiguiendo vincular datos privados (que no están en la vista web publica, por ejemplo la clave api del usuario) con cada usuario.
Sin embargo no es nuestro caso, porque aquí no partimos de una base de datos privada. Nuestras bases de datos solo tienen datos públicos porque de otra manera no podrían tenerlos. Si en meneame el autor del comentario es publico no hay manera humana de anonimizalo en tu base de datos porque hagas lo que hagas con simplemente ir a ver el mensaje en meneame sale el autor.
Lo único que podemos hacer es lo de cambiar los nicks por ids porque lo único que desaparece de meneame son los nick. Pero ya digo, si alguien quisiera saber el nick (y el usuario aún no se ha desregistrado de meneame) solo tendría que ir a meneame a verlo.
Creo que es imposible hacer más anonimación que esa con una base de datos generada con scrapping/feeds.
Pero como finalmente no voy a tener tiempo lo dejo aquí por si alguien se anima
Si queréis, dejar comentarios sobre que estadísticas os gustaría que sacara quien se decida a usar el yaml.
author: gallir
body: Pues sí, a las 5 de la mañana he acabado de subir los ficheros y la base de
datos para empezar a probar este servidor. Espero que los amigos se den cuenta.
comments: 5
id: 1
karma: 11
published: 1133928456
sent: 1133928253
story: www.meneame.net/story/esta-es-la-primer-noticia-meneada
sub: mnm
tags: primera noticia, menéame, hello world, primer meneo
title: Ésta es la primera noticia meneada
url: mnm.uib.es/gallir/meneame
votes:
anonymous: 0
negative: 0
users: 246
---
[...]
---
author: GeneRoddenberry
body: María Ángeles Martínez Paños, que hace unos días ocupó las portadas de los medios
de comunicación por justificar los escraches antiabortistas, ha utilizado su puesto
de concejala de la Mujer para entregar ayudas públicas a un colectivo que ella misma
preside.
comments: 74
id: 2646899
karma: 571
published: 1468862402
sent: 1468858612
story: www.meneame.net/story/edil-pp-albacete-autoconcede-subvenciones-financ
sub: actualidad
tags: pp, albacete, corrupción, subvenciones, antiaborto
title: Una edil del PP en Albacete se autoconcede subvenciones para financiar su asociación
antiabortista
url: www.periodicoclm.es/articulo/albacete/concejala-mujer-pp-albacete-da-s
votes:
anonymous: 1315
negative: 1
users: 469
A ver si hay suerte y quien lo use detalla como lo hace y así me sirve de ejemplo practico.
#8 Si estas pensando en JSON o XML seria facil hacer una conversion directa con algun programiña (seguro que ya hay algo hecho para eso) o mismamente a mano con un script python que lea el yaml guardandolo en un array y luego haga un json.dumps o similar.
Yo lo he hecho en yaml simplemente porque así era mas facil revisar el resultado y ocupaba menos que un json o xml. Pero si, luego probablemente lo habria convertido a otra cosa.
Lo que aprende uno
Podemos y en concreto
A ver quién lo supera.
Yo tengo en realidad también las publicadas en portada y las que no llegaron a portada, de hecho tengo un random forest que predice la probabilidad de que una noticia llegue a portada dados ciertos parámetros.
Edit: Ostras, lo de calcular la probabilidad de que algo llegue a portada también quería intentar hacerlo pero aún no tenia claro como.
Igual de aquí a unos meses alguien comenta habiéndose leído todo el archivo.
Se queda en 29MB
Pero visto lo dicho en #23 ya casi esta obsoleto
www.meneame.net/story/edil-pp-albacete-autoconcede-subvenciones-financ
1.784 meneos y un solo negativo. ¿De quién podría ser?
En su día pedí esta información al propio Menéame (antes y después del cambio de dueños incluso) pero siempre han pasado de mí... así que... me las tuve que agenciar
Nota: estoy investigando con redes sociales y machaco Menéame al menos 10-12 veces al día para recoger datos (scripts hechos en Ruby por cierto).
www.meneame.net/c/21160
Poco después...
www.meneame.net/c/70451 [Este justamente responde a un comentario que dice "esto (Menéame) empieza a oler ya con tanta política"]
www.meneame.net/c/76455
Vendo Kleenex.
www.meneame.net/story/lalalalalalalalalalalalalalalalalala/
Qué tiempos aquellos y cuánto han cambiado las cosas...
Para un comunista nazi tal vez.
Pero como bien #36, ¿a cuantos millones robados toca por noticia negativa del Pp? El Pp no tiene noticias negativas suficientes.
Canal 9 pagará 6 millones de euros en militarizar su uniforme
El 6 de diciembre. Todos los efectos del cromosoma Y. Otros genes asumen el puesto de Subdirector General de Personal y Pensiones Públicas a la que las gráficas no muestran problemas es el gas natural, 3, según ha informado hoy la entidad. Según consideró," el riesgo nuclear iraní está reforzado por sus políticas" [...]
----------
¿Viola VMWare la licencia GPL
Navegando por la red de autovías
----------
El hombre que podría haber 1. 000 ingresos en seis años y no es un robo, un chantaje y una extorsión" (26. 06. 1 LTS
Kanichi Kashimura fue un as de la programación e Internet, móvil i Business Services), Jazztel, Ono, Ya. com por Barlovento.
----------
Cuidado con la bolsa de valores
Tras ser pillada jugando y negarlo después. Ahora el Congreso de los diputados.
----------
51 errores que cometen algunos dueños de perros
Un grupo de estrellas del rock que se embarcaban en la aventura 6, 6 - 7 (5 - 15 minutos), a tipos de interés.
----------
Microsoft desarrolla un software llamado PhotoDNA para ayudar a salir de la crisis
Uno de los investigados había recurrido a la subida de 1, 8 puntos por encima del respeto a los Derechos Humanos de Estrasburgo, en relación a como esta influencia se está trasladando a nuestras escuelas:" Los problemas de visión crónicos, según ha informado la Policía Nacional han detenido en Barcelona por agentes del GOPES y el 911 cuando ya estaban esposados en el interior de un camión.
----------
En Alemania las renovables superan por primera vez
¿Harto de pagarle a tu hijo y él te levanta la mano. Yo digo que una víctima del pez piedra [...]
----------
Gibraltar: Una patrullera de Gibraltar aborta una persecución de la Guardia Civil"
La Guardia Civil de Tres Cantos; mientras que al hacer el check - in, prueba las demos y flipa. ¿Adiós Flash? Via reddit.
----------
El escritor vasco Kirmen Uribe, Premio Nacional de las Músicas Actuales
La campaña" patriótica" del Partido Popular para hacer la propia filtración. Hoy las ciudades japonesas ves gente en bicicleta mires donde mires y en ciudades enteras de Florida, donde a modo de póster en muchas consultas de otorrinos de todo el territorio y hoy en día un imposible.
----------
Crea tu propio Google Earth
Preciosa foto del espacio tomada por la Junta… » ver todo el comentario
¿A un turista que te pregunta en inglés le responderías en otro idioma aún pudiéndolo hacer en inglés? Normalmente no, pues en internet tampoco.
Cuba y venezuela son referentes como alternativas politicas mundiales, haiti y bangladesh no.
Cuba y venezuela fueron españolas, haiti 200 años pero paso a ser francesa y os vinculos se perdieron y bangladesh no.
En cuba y en venezuela hablan español, en haiti y bangladesh no.
En cuba y venezuela han vivido y vivien muchos españoles y a la inversa, de haiti y bangladesh alguno hay pero no es lo corriente.
Y segun tu tienen la misma relevancia internacional... y concretamente en españa. Para un comunistanazi puede ser.
Es como si me dices que importa lo mismo zimbague que eeuu, y que si no importa lo mismo es que los medios son etnocentristas. Ridiculo.
No he llamado etnocentrista a los medios. Te lo he llamado a ti.
Si alguien presta atención a esas respuestas en catalán, pues será asunto de ellos, y si se ignora, tampoco será molesto.
Son paises mucho mas importantes no solo por afinidad cultural, tambien se habla mas de ellos en eeuu o en europa. Es como si me dices que deberían de salir en los medios en misma proporción Kazajistán que corea del norte, pues mira no.
Y me respondes ami, lo logico es que me lo estes diciendo ami.
Si yo te cito y digo borregismo a tope, que pensarias, que hablo de los medios o de ti?
Lo de meterme con tu nick tampoco te lo tomes a mal, creo que fibrolizas con cosas que no deberias y das la impresion de tomarte todo a coña, que no te equivoques porque yo soy un cachondo. Pero no es el nick sino tu vision que para mi no va con maldad pero si la veo poco madura. Pensar que cuba o venezuela deberian importar tanto como haiti o bangladesh es no entender el mundo, y ojo obviamente todo ser humano vale o deberia de valer lo mismo, pero no es lo mismo corea del norte que kazajistan, ni es lo mismo australia que eeuu, cada pais tiene su papel y su peso en el mundo y ademas con respecto a la propia nacion en la que vivimos
Es algo que tengo pendiente de hacer, porque aunque es interesante poder tener todos los datos también lo es poder obtenerlos filtrados (por ejemplo, durante un perídoo de tiempo, con o sin votos, comentarios o votos de un determinado usuario... etc...).
También está el tema de la privacidad, justamente es en lo que estoy trabajando porque aunque cualquiera puede hacer lo que yo... deduzco que cualquier usuario también tiene derecho a que no se le identifique (y eso es algo que ahora mismo es posible si publicase la base de datos tal cual).
La forma que se me ha ocurrido para ver el id de un nick (probablemente haya formas mejores) es ir a su perfil, por ejemplo www.meneame.net/user/cyttorak, y obtenerlo del parámetro sent_by del link a su rss ( www.meneame.net/rss?sent_by=76043 ). Eso al menos con los que aún sigan registrados. Los que se hayan dado de baja desde que generaste la base de datos, simplemente con volver a consultar alguno de sus comentarios te saldrá como autor --XXXXX-- siendo XXXXX el id buscado.
Con ese cambio, tu base de datos daría la misma información o menos que ya da el propio portal de meneame.net
En cuanto a lo que me preguntabas en www.meneame.net/notame/2545738 ya habrás visto la contestación en #2
Sobre tu nota de #47, yo lo he hecho con bash y python. Un .sh se baja todas las páginas que hay de la portada y la mayoría de sus historias, y un .py que para crear el yaml lee los html locales y solo accede remotamente a meneame cuando le falta alguna historia. Lo hago así para que el .py trabaje la mayor parte del tiempo en local y así poder hacerle modificaciones y relanzarlo sin estar friendo a llamadas a meneame.
Lo único, es que por lo que he podido revisar de las pocas historias que me salen sin tags en mi yaml, hay alguna que si la visito manualmente si que tiene tags. Puede que haya algún error en el parseo, en cualquier caso parece que ha afectado a muy pocas historias (solo he encontrado un caso de error).
#63 @Yonseca ya lo ha pasado a JSON www.meneame.net/notame/2547037
#55 Me tienta escribirte yo también pero como ya decía al principio del meneo ahora ando mal de tiempo como para ofrecerme a colaborar sin garantías de hacerlo como me gustaría, sin embargo quisiera estar al tanto de lo que hacéis, ¿tenéis alguna lista de correo, repositorio o lo que sea para seguiros?
Sobre eso presentar los datos con alguna libreria para mostrar tablas www.editablegrid.net/en/
Pero no se, habias pensado en algo más?
Como querrias mostrar los datos?
La verdad es que el tema de los nicks que comentas le quita bastante juego al asunto.
Yo hace tiempo pense que estaria bien poder calificar las preguntas con "a quien benefician" o algo asi para poder hacer estadisticas politicas y ve quien vota que y poder ver un poco el comportamiento de la gente como reaccionan y como votan en cada momento, hacer un analisis un poco mayor.
Ciertamente la información es pública (y así consta en la licencia del sitio) pero no lo es la de los votos una vez el sistema no ofrece datos con más de 30 días de antigüedad.
Eliminar los nicks (usando un pseudónimo) es necesario pero no es suficiente para poder identificar la actividad de un usuario (busca el escándalo con la base de datos de IMDB y un set de datos que Netflix publicó en su día...), se necesita hacer algo más para poder garantizar la privacidad de los usuarios en el supuesto de que se quisiese publicar dicha base de datos (y a mayores garantizar el poder realizar estadísticas y análisis en dichos datos con garantías de que son muy similares a si lo hicieses sobre la versión sin anonimizar
El identificador único del usuario como bien dices lo obtienes de su perfil, pero da igual eso porque el propio nombre de usuario es único (si el usuario como bien dices se da baja obtiene uno con el patrón que indicas, que sigue siendo único). Hay identificadores numéricos porque se diseñó la base de datos de esa forma, pero no son necesarios... como ya digo el nombre de usuario es suficiente.
La información que obtienes, ciertamente la vas a tener siempre, porque es texto, sin embargo, la información de votos has de comprobarla cada X tiempo (esto me ha llevado bastante tiempo de experimentación para afinar mis scripts para que no machaquen el servidor pidiendo la misma información una y otra vez...). Aunque como ya he dicho... si me hubiesen contestado los @admin del sitio... no tendría que haber empleado tanto tiempo en algo que se podría haber hecho con un simple 'mysldump'...
Hay ciertas noticias para las que necesitas un usuario válido en el sistema
Subo aquí una nueva versión corregida del fichero yaml (comprimido con 7zip) www.filedropper.com/meneameyml_1 (29MB) De paso ahora incluye hasta el 21/07/2016
@Yonseca Lo mismo te interesa volver a pasar su conversión a sql/json
Nota: Otra modificación que he hecho es que no ponga el campo "tags" si no hay etiquetas (antes, en tal caso, ponía "tags: null" o algo así)
Gracias por el fichero, a ver qué puedo tocar para actualizarlos
Por lo que he entendido la idea muy simplificada sería esta:
Fulano ve en Netflix: Juego de Tronos, Mr Robot, Mad Men, House of Cards y Hannah Montana.
A Fulano le da vergüenza admitir que ve Hannah Montana pero las otras no, así que hace criticas en IMDB sobre las otras series.
Netflix publica su base de datos y donde pone "Fulano" pone "fsfdsfa3rewjfsd".
Unos tíos cruzan los datos de Netflix con IMDB y scan que "fsfdsfa3rewjfsd" es Fulano.
Ahora todos sabemos que Fulano es fan de Hannah Montana.
Si es así, para tener un problema análogo al de Netflix/IMDB la base de datos no debería estar hecha con scrapping o leyendo feed, si no que tendría que ser una base de datos proporcionada por los admin donde hubiera más datos que los que se pueden sacar vía scrapping/feed, y entonces sí, podría darse el caso de que alguien cruzándola con el propio portal o con alguna otra cosa las desanonimizara consiguiendo vincular datos privados (que no están en la vista web publica, por ejemplo la clave api del usuario) con cada usuario.
Sin embargo no es nuestro caso, porque aquí no partimos de una base de datos privada. Nuestras bases de datos solo tienen datos públicos porque de otra manera no podrían tenerlos. Si en meneame el autor del comentario es publico no hay manera humana de anonimizalo en tu base de datos porque hagas lo que hagas con simplemente ir a ver el mensaje en meneame sale el autor.
Lo único que podemos hacer es lo de cambiar los nicks por ids porque lo único que desaparece de meneame son los nick. Pero ya digo, si alguien quisiera saber el nick (y el usuario aún no se ha desregistrado de meneame) solo tendría que ir a meneame a verlo.
Creo que es imposible hacer más anonimación que esa con una base de datos generada con scrapping/feeds.