webmaster robots.txt – Si no quiero establecer ningún comportamiento especial, ¿está bien si no me molesto en tener un archivo robots.txt?

Pregunta:

Si no quiero establecer ningún comportamiento especial, ¿está bien si no me molesto en tener un archivo robots.txt?

¿O puede ser perjudicial la falta de uno?

Respuesta:

La falta de un archivo robots.txt no será perjudicial. Desde el sitio web robotstxt.org :

Para permitir que todos los robots tengan acceso completo

Agente de usuario: *
Rechazar:

(o simplemente cree un archivo "/robots.txt" vacío, o no use ninguno)

Sin embargo, incluso si no especifica nada en su archivo robots.txt, es una buena forma de informar a los motores de búsqueda de la ubicación de su mapa del sitio XML . Puede hacer esto agregando una línea en la parte superior de su archivo robots.txt que se parezca a lo siguiente:

Mapa del sitio: http://www.example.com/sitemap-host1.xml

También debe tener en cuenta que no tenerlo creará muchas entradas 404 en sus registros web.

Leave a Comment

Your email address will not be published. Required fields are marked *

Scroll to Top

web tasarım