Google publica el código fuente de su analizador de robots.txt (ENG)

Durante 25 años, el Protocolo de Exclusión de Robots (REP) fue sólo un estándar de facto. Esto tenía implicaciones frustrantes a veces. Por un lado, para los webmasters, significaba incertidumbre en casos límite, como cuando su editor de texto incluía caracteres BOM en sus archivos robots.txt. Por otro lado, para los desarrolladores de crawlers y herramientas, también trajo incertidumbre; por ejemplo, ¿cómo deberían tratar con archivos robots.txt que tienen cientos de megabytes de tamaño?