Sitemap.xml
Al contrario que el archivo robots.txt, que restringe lo que el motor de búsqueda puede ver, el archivo sitemap.xml muestra una lista de todos los archivos que el dueño del sitio web quiere listar en el motor de búsqueda. Estos pueden contener versiones antiguas de la página que sigan en funcionamiento o páginas a las que sea más difícil navegar, etc.