Ésto lo debéis de insertar en CONFIGURACIÓN – PREFERENCIAS DE BÚSQUEDA Y ARCHIVO ROBOTS.TXT PERONALIZADO, pero yo no lo aconsejo, porque los puse en todos mis blogs y tuve problemas con los Sistemaps de Webmaster Tools. No veas el lío que tuve, y gracias al foro de Google, lo solucioné retirándolos, así que tened cuidad en usarlos. Yo lo hice porque me gusta tener muchas categorías y etiquetas, y bien es sabido que a Google no le hace mucha gracias eso, porque lo da como contenido duplicado, así que mejor no lo pongáis, pero bueno para los que quieran probar, aquí lo tenéis. El problema, que cuando quieras invertir los cambios, se debe esperar que Google actualice y puede pasar semanas.
# Archivo robots.txt personalizado
User-agent: * # Todos los rastreadores son llamados aquí.
Disallow: /*? # Bloquea las URL que incluyan un signo de interrogación
Disallow: /Search*/ # Bloquea los directorios que empiecen por search
Disallow: /*Search/ # Bloquea los directorios que acaben en search
Disallow: /Archivos*/ # Bloquea los directorios que empiecen por archive
Disallow: /Categorías*/ # Bloquea los directorios que empiecen por archive
Disallow: /Etiquetas*/ # Bloquea los directorios que empiecen por labels
Allow: / # Permite todo lo demás
User-agent: Mediapartners-Google # Llama al robot de Adsense
Allow: / # Al robot de Adsense le dejamos rastrear todas las páginas
# Incluimos la dirección del sitemap xml para hasta 1000 entradas
Sitemap: http://www.recetasdenavidad.eu/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://www.recetasdenavidad.eu/atom.xml?redirect=false&start-index=501&max-results=500
