Un crawler es un robot de una entidad (generalmente buscadores) que acceden a las páginas web de un sitio para buscar información en ella, añadirla en los buscadores, etc.Por ejemplo, Googlebot es el nombre del crawler del buscador Google.
|
etiquetas: robots txt , spiders , arañas , indexadores 
