Wget, algunos ejemplos de lo que se puede hacer con esta herramienta

GNU Wget es una herramienta libre que permite la descarga de contenidos desde servidores web de una forma simple y rápida. Hoy en día existen decenas de aplicaciones para descargar archivos de manera muy eficiente. La mayoría de ellas se basan en interfaces Web y de escritorio, y están desarrolladas para todos los sistemas operativos. Sin embargo en Gnu/Linux (también hay versión para Windows) existe el poderoso gestor de descargas de archivos wget. Esta considerado como el gestor de descargas más potente que existe.

[#1 pkreuzt]

Existe una GUI en Perl para facilitar un poco las cosas (en la misma página encontraréis GUIs para aria y curl también).

www.martin-achern.de/wgetgui/

[#2 xkill]

Depende de para qué, pero muchas veces es mejor curl.

[#3 Claudio_7777]

¿Para cuando un Xget para el porno?

[#4 juanjosepablos]

Este logo de wget me encanta: linux.pictures/projects/in-wget-we-trust-jpg

[#5 Sinfonico]

#1 Gracias!!

[#6 EuropeoDespierto]

el poderoso gestor de descargas de archivos wget
pero en serio alguien considera el wget un poderoso gestor? eso me suena a quienes venden el vim como un gestor de textos de primera calidad

[#8 kino13]

#6 Que problema tienes con vim? porque a mi me parece una herramienta excelente.

[#9 angelitoMagno]

#6 Poderoso no se, pero flexible y útil si que es.

[#10 deltonos]

#2 para temas de descargas de malware por ejemplo, no?

[#12 scalvo]

#6 Eso es un troleo verdad?

[#13 nergeia]

#6 Hombre, para bajarte contenido de una web que estés navegando es un rollo. Para automatizar en un script, pues si.

[#14 Bourée]

#3 Obsexo

[#15 --546793--]

#6 Haz tú uno mejor.

[#16 Stash]

#6 Yo he migrado varios millones de archivos de un servidor a otro del tirón sin un solo problema, cuando otros lo habían intentado con otras herramientas.
Ahí, sin despeinarse.

[#17 automatix]

#6 yo lo uso para hacer backups de servidores web. Como la seda.

[#19 asterissco]

Gestor de descargas? Lo uso para mandar informes a un php que lo escribe en un fichero jijijiji

Opciones para que no saque nada nunca si solo quereis subir

-O /dev/null -q "url" 2&>/dev/nulll

[#20 --44542--]

#6 En tu vida has administrado un servidor y has tenido que bajarte las archivos a través de la consola ssh.

Cuanto bocaza suelto, si no sabes de algo, te callas.

Yo no me metería nunca a opinar en un debate de literatura porque no tengo ni puta idea, pero se ve que aquí cualquiera que tiene bocas habla de lo que sea.

[#21 --270784--]

wget --mirror internet

[#22 Jakeukalane]

Me acuerdo cuando me puse a descargar una pagina web con cientos de subdirectorios. Era una web de rol. Partidas, mapas, imágenes fantásticas, galerías de arte de artistas que ya no estaban en ningún otro sitio de internet, D&D, generadores, algún vídeo calenturiento que no pintaba nada en medio de todo eso, fotos de coches, más fichas de rol, mas generadores de ciudades.... Unos 26 GiB sacó la bestia de wget. Lo que no sabia entonces es que ese tráfico lo pagaba la web. Al poco ya no existía. Supongo que se pensaría que era un ataque o algo, 2 días bajando cosas sin parar. Al menos tengo una copia de todo los 4 primeros niveles de toda la web.

Moraleja. La potencia sin control es destructiva.

[#23 Jakeukalane]

Por cierto, tengo una consulta. A mí me gusta usar wget para clasificar imágenes, es decir, cojo una url de una imagen (un spinosaurus p. ej.) pongo un alias (spino) que me lleva a $HOME/Imágenes/Dinosaurios/Spinosaurios y allí hago un wget de la url. Guay. Eso me sirve para tener esas imágenes organizadas sin que estén dando tumbos en descargas o en otro sitio. Sin embargo me gustaría alguna de estas dos cosas:
1) que un txt en el mismo directorio haga de log.
2) (mejor aún) embeber la url en un comentario de la imagen que se acaba de descargar.
[3) ambas.]

¿Alguna idea?

[#24 --471550--]

#22 Y seguro desactivaste el respeto a robots.txt, so villano.

[#25 Jakeukalane]

#24 creo qyue no

[#26 demostenes]

Yo leo meneame diariamente usando wget y vim.

[#27 mgm2pi]

#6 vim no sólo sirve para editar ficheros de configuración. Se puede hacer cada virguería...

[#28 xkill]

#10 no, para tema de explotación de SQLi y esas cosas

[#29 chavi]

#1 Joder, ponerle una gui a wget ya es pasarse...

[#30 chavi]

#6 El Vi es un gran editor. Otro tema es que sepas usarlo bien.

[#31 chavi]

#20 Bueno, yo para eso prefiero un simple scp...

[#32 kino13]

#18 hombre, por algo se le conoce como el editor del anticristo...
Es cierto que la curva de aprendizaje es un poco bestia, pero te puedo asegurar por otra parte que es el único editor con el que nunca he tenido problemas.

Es una gran herramienta, vale la pena que aprendas a usarla.

[#33 --506045--]

#23 "2) (mejor aún) embeber la url en un comentario de la imagen que se acaba de descargar."

De qué SO hablamos? Linux?

[#34 --506045--]

#23 Se me pasó el tiempo de edición.

Para eso se usan atributos extendidos en el archivo. En Linux creo que no está muy extendido pero tienes
www.reddit.com/r/linux/comments/6uotnq/extended_file_attributes_rock/
www.freedesktop.org/wiki/CommonExtendedAttributes/

puedes modificar wget para que cree el atributo en cada descarga o hacerlo tú a mano con `xattr`

En macOS se hace automaticamente por el navegador, pero curl y wget no lo hacen. El atributo es com.apple.metadata:kMDItemWhereFroms

mdls -name kMDItemWhereFroms ~/Downloads/OZA.zip
kMDItemWhereFroms = (
"liveries.flightgear.org/download/Douglas/DC-3/OZA.zip";,
"liveries.flightgear.org/liveries.php?id=851";
)

[#35 redewa]

#19 Yo lo he visto como backend de un script para la automatización de tareas periódicas en robots usando long-request.

[#38 FooDev]

wget sitioweb.com/*.pdf

Por un momento, iluso de mi, creí que esto era posible.

[#39 --64044--]

#8 Que no es nano

[#40 Jakeukalane]

#33 sí

[#41 Jakeukalane]

#34 muchas gracias, lo miraré

[#42 Jakeukalane]

#24 web.archive.org/web/20070209051259/http://crpp0001.uqtr.ca:80/
web.archive.org/web/20070209051259/http://crpp0001.uqtr.ca:80/robots.t

[#43 ann_pe]

#23 Puedes usar EXIF, que es un estándar para metadatos en imágenes (en los móviles por ejemplo se usa para guardar datos de geolocalización en las fotos si tienes activado que lo haga, que creo que viene activado por defecto).

En esta web puedes ver ejemplos similares (la primera que me ha salido haciendo una búsqueda sin concretar mucho):

stackoverflow.com/questions/46924712/bash-script-to-add-exif-metadata-

[#44 aauivozcrx]

#6 vuelve a forocoches, gilipollas

[#45 Jakeukalane]

#43 muchas gracias. Hay veces que las búsquedas parecen sencillas pero en realidad es porque se sabe lo que buscar.

[#46 kino13]

#39 Ten cuidado con nano, la puedes liar con los espacios, tabuladores y saltos de línea. Hablo por experiencia también.

[#47 zULu]

#2 Son dos cosas diferentes, es como decir que un tren es mejor que un automobil. Pues oiga, es diferente y tienen diferentes usos.

[#48 --471550--]

#42 #24 Bueno, si no protegen sus recursos, si no eras tu, serian los mismos crawlers.

[#49 deltonos]

#28 no seas malo:  

[#50 Jakeukalane]

#48 era de una universidad así que ya entiendo porque pensé que no pasaría nada.

[#51 --489417--]

#36 Funciona perfectamente.

vim + wetty

[#52 Draka]

#6 el vim es discutible, pero wget?

[#53 Sinfonico]

#6 Poderosa es la ignorancia....

[#55 --489417--]

#54 Claro, un punto más a favor del vim y uno menos para joe, nano, etc. Emacs sería imposible siquiera pensarlo.

[#57 --489417--]

#56 Supongo que estaría configurado para usar combinaciones de teclas distintas porque un Ctrl-W, Ctrl-P, Ctrl-S, etc el browser lo pillaría. O por el contrario alguna extensión del browser para que no capturara los inputs te teclado.

[#58 xkill]

#49 no soy malo. Es mi trabajo

[#59 Trigonometrico]

#22 Tal vez deberías colgarla en algún sitio en la red para que se la descargue quien quiera.

[#60 Trigonometrico]

#27 Comenta alguna de ellas, no nos dejes así.

[#61 Jakeukalane]

#59 como cuelgo 25 GiB y que sea visitable estilo htmlbin? No conozco ningún sitió así. Por otro lado parece que una gran parte ya esta en Archive.org

En dfive puedo subir una parte aunque no se cual es l tamaño máximo.

[#62 Trigonometrico]

#34 Yo tengo otra consulta . He probado a bajarme las páginas de un sitio, pero luego no se han descargado los dibujos.

www.vitutor.com/

[#63 Trigonometrico]

#61 No lo sé. Tal vez compartir por Emule o Bittorrent.

[#64 Jakeukalane]

#63 sí, entiendo.