Herramienta para crear robots.txt

Una interesante herramienta para generar archivos robots.txt Con el código que genera podrás bloquear el acceso a determinadas carpetas, imágenes, archivos, etc... No dispone aún de la nueva funcionalidad para notificar la ubicación de los Sitemaps

[#1 --20207--]

hola, por favor nos podrías dar más detalles sobre esta nueva funcionalidad de robots.txt para notificar la ubicación de sitemaps??

gracias

[#2 Liamngls]

Me extraña a mi que con el robots.txt vayas a bloquear el acceso a nada, me juego una de la dos escopetas que tengo a que las arañas de google se pasan el robots ese por el forro como si fuese un rel=nofollow de esos.

Lo mejor sería usar un .htaccess y si da mucha paranoia meter una contraseña.

[#3 jotape]

#2 tiene razón, muchos robots se pasan el robots.txt por la piedra:
www.fleiner.com/bots/
forums.digitalpoint.com/showthread.php?t=24847
www.webmasterworld.com/google/3044757.htm