Entiendo cómo una URL puede acabar en conocimiento de Google aún cuando los dueños del sitio web al que pertenece esa dirección hayan expresado de forma explícita en su fichero robots.txt que no quieren que sea indexada. Lo que no entiendo es por qué Google se empeña en mostrar esa URL en los resultados.

He de decir que desde el punto de vista del hacking con buscadores es genial, y permite cosas como las que he publicado en varias ocasiones sobre cómo usar los buscadores como arma de destrucción masiva o tales como localizar la previsualización de los posts en blogger, encontrar servidores de sitios web, o acabar encontrando datos personales e información sensible... Continuar leyendo