Ya he escrito varias veces de este comportamiento tan curioso que tienen los buscadores a la hora de
indexar contenido en la base de datos. Lo he hecho
con Facebook y también lo hice
con WhatsApp, así que no va a ser nada nuevo para nadie lo que os voy a contar, salvo que he aplicado la misma metodología a
Gmail, buscando qué se queda indexado en
Google que provenga de correos de
Gmail.
 |
| Figura 1: Robots.txt de Gmail no bloquea /mail/u/ |
Lo siguiente es evidente, buscar qué URLs de esa ruta han caído indexadas en Google, para lo que basta un simple site:mail.google.com/u/ para ver qué sale. Eso sí, después de la búsqueda hay que dar a la opción de "Mostrar todos los resultados".
 |
| Figura 2: Hay aproximadamente 79.400 URLs indexadas |
Entre las cosas que salen entre esos 79.400 resultados indexados, están las URLs de mensajes que venían con números de teléfono enlazados, y pueden localizarles en el título de las URLs. No sabemos de qué usuario es ese número, pero Google lo tiene indexado.
 |
| Figura 3: URLs con números de teléfono indexados en Google |
En otro orden de cosas curiosas aparecen URLs para la descarga de ficheros adjuntos, que aunque no están cacheados, sí que queda la URL en la caché con el título del documento, tal y como puede verse en este ejemplo.
 |
| Figura 4: URL con fichero adjunto relativo a un "Curso de receitas" |
El número de URLs es enorme, así que puedes perder tiempo buscando entre lo que allí hay, para ver si encuentras algo más "curioso" en el nombre del adjunto o el título, ya que quedan indexados ambos.
 |
| Figura 5: URLs con adjuntos de todo tipo, hasta con noticias de IRAQ |
Hablé sobre esto con la gente de seguridad de
Google, para decirles que podría ser un detalle higiénico que en lugar de dejar estos leaks de información,
aplicaran lo que Google dice que hay que aplicar para evitarlos, es decir, aplicar
robots.txt, la
meta tag de NoIndex o el
header HTTP X-Robots-tag NoIndex, pero han dicho que prefieren no hacerlo.
 |
| Figura 6: Opciones para evitar indexación de URLs y Títulos recomendadas por Google |
¿Y si por error cae indexado una URL con un fichero adjunto que tiene un título o un nombre demasiado significativo y quieres eliminarlo? Pues no puedes usar las Herramientas del Webmaster y deberías pedírselo directamente a ellos.
 |
| Figura 7: ¿Hoy indexo menos que ayer pero más que mañana? |
Curioso, ¿no? Pues lo más curioso es que hoy he ido a buscar otra vez y se han perdido unas
50.000 URLs de la base de datos... como lágrimas en la lluvia. Curioso, ¿verdad?
Fuente http://www.elladodelmal.com
De Chema Alonso
