Un buen documento robots.txt para Wordpress

El archivo robots.txt es muy importante para los buscadores. En particular el todopoderoso Google, que puede hacer que nuestro sitio caiga al suelo con un "simple" cambio de algoritmo.

Muchas veces una línea errónea en el documento robots.txt puede hacer que nuestro sitio caiga en el ranking SEO, porque Google no puede acceder a una colección de URLs. ¿Para qué bloquear los feed de comentarios y de contenidos? Google ya no muestra esos link en sus resultados.

Les presento el archivo robots.txt actualizado y remozado para Wordpress, compatible con el SEO de 2015 y mobile-friendly (si es que se puede decir algo semejante):

User-agent: *

Disallow: /wp-content/plugins/
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /*?
Disallow: /cgi-bin/
Disallow: /wp-content/cache/

User-agent: Mediapartners-Google*
Allow: /

User-agent: Mediapartners
Allow: /

User-agent: AdsBot-Google
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Googlebot-Mobile
Allow: /

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

Sitemap: http://www.tusitioweb.com/sitemap.xml
Sitemap: http://www.tusitioweb.com/feed/