robots-txt

Ésto lo debéis de insertar en CONFIGURACIÓN – PREFERENCIAS DE BÚSQUEDA Y ARCHIVO ROBOTS.TXT PERONALIZADO, pero yo no lo aconsejo, porque los puse en todos mis blogs y tuve problemas con los Sistemaps de Webmaster Tools. No veas el lío que tuve, y gracias al foro de Google, lo solucioné retirándolos, así que tened cuidad en usarlos. Yo lo hice porque me gusta tener muchas categorías y etiquetas, y bien es sabido que a Google no le hace mucha gracias eso, porque lo da como contenido duplicado, así que mejor no lo pongáis, pero bueno para los que quieran probar, aquí lo tenéis. El problema, que cuando quieras invertir los cambios, se debe esperar que Google actualice y puede pasar semanas.

 

# Archivo robots.txt personalizado

User-agent: * # Todos los rastreadores son llamados aquí.
Disallow: /*? # Bloquea las URL que incluyan un signo de interrogación
Disallow: /Search*/ # Bloquea los directorios que empiecen por search
Disallow: /*Search/ # Bloquea los directorios que acaben en search
Disallow: /Archivos*/ # Bloquea los directorios que empiecen por archive
Disallow: /Categorías*/ # Bloquea los directorios que empiecen por archive
Disallow: /Etiquetas*/ # Bloquea los directorios que empiecen por labels

Allow: / # Permite todo lo demás

User-agent: Mediapartners-Google # Llama al robot de Adsense
Allow: / # Al robot de Adsense le dejamos rastrear todas las páginas

# Incluimos la dirección del sitemap xml para hasta 1000 entradas
Sitemap: http://www.recetasdenavidad.eu/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://www.recetasdenavidad.eu/atom.xml?redirect=false&start-index=501&max-results=500

Related Posts Plugin for WordPress, Blogger...
admin On febrero - 22 - 2014

Categories

ROBOT TXT

Tags

Related Posts

  • No related posts found

Leave a Reply


  • RSS
  • Delicious
  • Digg
  • Facebook
  • Twitter
  • Linkedin
  • Youtube
India 2

CUÁLES SON LAS RECO

Si eres de las personas que nunca ha logrado visitar ...

marketing digital

LOS MEJORES TIPS PAR

En el mundo de hoy en día las marcas cada ...

mudanzas-a-canarias

APRENDE A ORGANIZAR

Sin lugar a dudas son muchas las personas que están ...

webinar

¿CÓMO CREAR UN WEB

Los webinar son una excelente herramienta para conectar con la ...

Samsung DLP

CARACTERÍSTICAS Y V

El mundo de la tecnología en la televisión poseen sus ...

Sponsors

  • TIENDA MÁGICA ONLINE
  • ACEITE TRABAJO
  • ACEITE RITUAL PARA ATRAER EL AMOR
  • ACEITE RITUAL PARA ATRAER LA SUPERACIÓN DE EXÁMENES Y OPOSICIONES
Close