Especificaciones de robots.txt | Búsqueda para desarrolladores
Resumen
En este documento se explica cómo interpreta Google los archivos robots.txt, con los que puedes supervisar cómo rastrean e indexan los rastreadores de Google los sitios de acceso público.
Novedades
El 1 de julio del 2019,que se está trabajando parael protocolo robots.txt. Los cambios efectuados en este sentido se describen en este documento.
Lista de novedades
Estos son los cambios:
- Se ha eliminado la sección sobre el idioma de los requisitos de este documento pues el idioma es específico del borrador de Internet.
- El fichero robots.txt ahora admite todos los protocolos.
- Google sigue cuando menos 5 redirecciones. Como todavía no se ha conseguido ninguna regla, se prosiguen por lo menos cinco redirecciones; si no se encuentra el fichero robots.txt, Google estima que se ha producido un fallo 404. No se aconseja administrar redirecciones lógicas en el fichero robots.txt según el contenido HTML que devuelva códigos de resultado 2xx (redirecciones de actualizaciones de metaetiquetas, de JavaScript o bien de marcos). El contenido de la primera página se utiliza para localizar reglas aplicables.
- En el en caso de que se devuelva un fallo 5xx, si el robot de Google no puede acceder al fichero robots.txt durante más de 30 días, se utilizará la copia en caché más reciente del archivo; si no hay ninguna, Google estima que no existe ninguna restricción de rastreo.
- Google estima que las peticiones que no se efectúan correctamente y los datos incompletos son fallos del servidor.
- Los "registros" ahora se denominan "líneas" o "reglas", según corresponda.
- Google no puede procesar los elementos
<field>que incluyan errores simples o tipográficos; por ejemplo, "useragent" en lugar de "user-agent". - En estos instantes, Google solo lee 500(KiB) del fichero robots.txt, con lo que, si es más grande, ignora el contenido que exceda este límite.
- Se ha actualizado la sintaxis formal para convertirla en una notación aumentada de Backus-Naur (ABNF) válida segúny para que se puedan utilizar caracteres UTF-ocho en el archivo robots.txt.
- Se ha actualizado la definición de "grupos" para hacerla más breve y precisa. Se ha añadido un caso de conjunto vacío.
- Se han eliminado las referencias al esquema de rastreo obsoleto de Ajax.
Definiciones básicas
Aplicaciones
Todos los rastreadores automatizados de Google prosiguen las indicaciones que se señalan en este documento. Sin embargo, estas directrices no se aplican cuando un agente accede a las URL en nombre de un usuario para, por ejemplo, traducir la página, acceder a feeds de suscripción manual o examinar contenido en busca de software malicioso.
Ubicación del archivo y periodo de validez
El fichero robots.txt debe incluirse en el directorio de nivel superior del host, y se debe poder acceder a él a través del protocolo y del número de puerto apropiados. Todos los protocolos que suelen aceptarse para acceder a este fichero sey, en concreto en el caso de la Búsqueda de Google, (por poner un ejemplo, para rastrear de sitios web) son "http" y "https". Cuando se emplean estos dos protocolos, el fichero robots.txt se obtiene mediante una petición HTTP GET no condicional.
Elementos específicos de Google: Google también admite y rastrea archivos robots.txt en sitios FTP. A los ficheros robots.txt basados en FTP se accede mediante este protocolo, utilizando unas credenciales de acceso anónimas.
Las directivas que se incluyen en el archivo robots.txt se aplican únicamente al host, al protocolo y al número de puerto en el que se aloja el fichero.
Ejemplos de URLs del archivo robots.txt válidas
/
/folder/file
/
/
:8181/
Válida para:
/
No válida para:
/
/
/
üller.eu/
--mller-kva.eu/
No válida para:
/
Válida para:
ftp://example.com/
No válida para:
/
Valor específico de Google: usamos el fichero robots.txt también con recursos FTP.
Válida para:
/
No válida para:
/(si bien esté alojado en veinti mil doscientos noventa y seis.21)
Válida para:
:80/
/
No válida para:
:81/
Válida para:
:8181/
No válida para:
/
Uso de los códigos de resultado HTTP
Por lo general, al acceder a los archivos robots.txt, se consiguen tres resultados diferentes:
- full allow (permiso completo): se puede rastrear todo el contenido.
- full disallow (ningún permiso): no se puede rastrear ningún contenido.
- conditional allow (permiso condicional): las directivas incluidas en el archivo robots.txt determinan si se puede rastrear un contenido determinado.
Los errores del servidor se consideran errores temporales que devuelven el resultado "full disallow". La solicitud se marcha enviando hasta el momento en que se consigue un código de resultado HTTP sin fallo del servidor. Por poner un ejemplo, los errores 503 (Servicio no libre) suelen provocar este comportamiento. Si el robot de Google no puede acceder al fichero robots.txt durante más de 30 días, se utilizará la copia en caché más reciente del archivo. Si no hay ninguna, Google considera que no hay ninguna restricción de rastreo. Para suspender de forma temporal el rastreo, se aconseja mostrar un código de resultado HTTP quinientos tres.
Elemento específico de Google: si observamos que un sitio web se ha configurado de forma incorrecta y, cuando faltan páginas, devuelve un error 5xx y no uno cuatrocientos cuatro, trataremos el fallo 5xx de ese sitio tal y como si fuera un error cuatrocientos cuatro.
Formato de archivo
Se aguardan ficheros de texto sin formato con codificación. Las distintas líneas del archivo deben estar separadas por CR, CR/LF o LF.
Solo se tienen en cuenta las líneas válidas; el resto del contenido se ignora. Por ejemplo, si el documento es una página HTML, solo se tendrán en cuenta las líneas de texto válidas; las demás se ignorarán y no se mostrará ningún mensaje de advertencia o de fallo.
captacion de clientes ón que genere caracteres que no representen un subconjunto de UTF-8.
Si hay una marca de orden de bytesUnicode opcional al principio del fichero robots.txt, se ignora.
Para que una línea sea válida, debe estar formada por un campo, 2 puntos (:) y un valor. Los espacios son opcionales, si bien aconsejamos utilizarlos para mejorar la legibilidad del fichero. Se pueden incluir comentarios en cualquier una parte del fichero antecedidos del carácter "#". Todo el contenido que se inserta entre el comienzo de un comentario y el final de la línea se considera como tal y se ignora. El formato general es
<field>:<value><#optional-comment>. Los espacios en blanco al comienzo y al final de una línea se ignoran.
El elemento
<field>no distingue entre mayúsculas y minúsculas. En cambio, el factor <value>puede que sí distinga entre mayúsculas y minúsculas, en función del elemento <field>.
No se pueden procesar los elementos
<field>que incluyan errores simples o tipográficos; por poner un ejemplo, "useragent" en lugar de "user-agent".
Se puede incorporar un tamaño del archivo máximo en cada rastreador. El contenido que supere el tamaño máximo del archivo se ignorará. En estos instantes, Google aplica un límite de tamaño de 500(KiB). Si tu fichero robots.txt es demasiado grande, combina directivas para reducir su tamaño. Por ejemplo, coloca el material que quieres excluir en otro directorio.
Definición y sintaxis formal
A continuación, se describe la notación aumentada de Backus-Naur (ABNF), tal como se describe en.
Agrupación de líneas y reglas
Una o bien múltiples líneas de user-agent seguidas de una o múltiples reglas. seo para ecommerce con una línea de usuario-agent o cuando se llega al final del archivo. Posiblemente el último grupo no tenga ninguna regla, lo que implica que lo deja todo.
Grupos de ejemplo:
Se indican 4 grupos diferentes: el primero afecta a "a"; el segundo, a "b", y el tercero a "e" y a "f" al unísono. Salvo el último grupo, todos tienen su propia línea de miembros de grupo. El último grupo está vacío. Fíjate que, de forma opcional, se han incluido espacios en blanco y líneas vacías para prosperar la legibilidad.
Orden de prioridad de los user-agent
A cada rastreador solo se le puede aplicar un conjunto. Para determinar qué conjunto es el adecuado, el rastreador busca el grupo que coincida que tenga el usuario-agent más específico y también ignora el resto. El campo User-agent distingue entre mayúsculas y minúsculas. La parte de texto que no coincida se ignora (por poner un ejemplo, tanto
googlebot/1.2como
googlebot*son equivalentes a
googlebot). No importa el orden en el que aparezcan los grupos en el archivo robots.txt.
Si hay más de un grupo que afecta a un usuario-agent específico, a ese user-agent se le aplicarán todas las reglas de esos conjuntos.
Ejemplo
Si tenemos el siguiente archivo robots.txt:
Los rastreadores elegirían el grupo pertinente del siguiente modo:
Consulta también información sobre los.
Reglas de miembros de grupos
En esta sección, solo se tratan las reglas estándar de los miembros de conjuntos. En el caso de los rastreadores, estas reglas también se llaman "directivas". Estas directivas se detallan con el formato
directive: [path], en el que el valor
[path]es opcional. De manera predeterminada, no se aplican restricciones de rastreo a los rastreadores especificados. Las directivas que no tengan
[path]se ignoran.
Si se especifica, se estima que el valor
[path]es relativo a la raíz del sitio web a cuyo archivo robots.txt se ha accedido, con el mismo protocolo, número de puerto y nombres de dominio y de host. El valor de la senda debe empezar por "/", que señala la raíz. La ruta distingue entre mayúsculas y minúsculas. Para conseguir más información, se puede preguntar la sección "Coincidencias de URL en función de los valores de ruta" que aparece a continuación.
Directiva disallow
La directiva
disallowespecifica las rutas a las que los rastreadores indicados no deben acceder. Cuando no se detalla ninguna ruta, se ignora la directiva.
Uso:
Directiva allow
La directiva
allowespecifica las rutas a las que los rastreadores indicados pueden acceder. Cuando no se detalla ninguna ruta, se ignora la directiva.
Uso:
Coincidencias de URL en función de los valores de ruta
El valor de ruta se usa como base para determinar si una regla se aplica o bien no a una URL específica de un sitio web. A excepción de los comodines, la ruta se utiliza a fin de que coincida con el principio de una URL (y con cualquier URL válida que empiece por la misma ruta). Los caracteres ASCII que no sean de siete bits que aparezcan en una ruta se pueden incluir como caracteres UTF-8 o bien como caracteres UTF-ocho codificados con tanto por ciento como carácter de escape según.
Google, Bing y otros buscadores principales admiten utilizar "comodines" limitados en los valores de ruta. Se trata de los siguientes:
*indica 0 o bien más casos de cualquier carácter válido.
$indica el final de la URL.
Coincide con estas rutas:
/fish
/fish.html
/fish/salmon.html
/fishheads
/fishheads/yummy.html
/fish.php?id=anything
No coincide con estas rutas:
/Fish.asp
/catfish
/?id=fish
Es equivalente a
/fish. El comodín final se ignora.
Coincide con estas rutas:
/fish
/fish.html
/fish/salmon.html
/fishheads
/fishheads/yummy.html
/fish.php?id=anything
No coincide con estas rutas:
/Fish.asp
/catfish
/?id=fish
La barra inclinada siguiente señala que esta senda coincide con cualquiera incluida en esta carpetita.
Coincide con estas rutas:
/fish/
/fish/?id=anything
/fish/salmon.htm
No coincide con estas rutas:
/fish
/fish.html
/Fish/Salmon.asp
Coincide con estas rutas:
/filename.php
/folder/filename.php
/folder/filename.php?parameters
/folder/any.php.file.html
/filename.php/
No coincide con estas rutas:
/(aunque se asigne a /index.php)
/windows.PHP
Coincide con estas rutas:
/filename.php
/folder/filename.php
No coincide con estas rutas:
/filename.php?parameters
/filename.php/
/filename.php5
/windows.PHP
Coincide con estas rutas:
/fish.php
/fishheads/catfish.php?parameters
No coincide con estas rutas:
/Fish.PHP
Líneas de miembros que no pertenecen al grupo que Google admite
Google, Bing y otros buscadores web principales admiten
sitemap, tal y como se define en.
Uso:
[absoluteURL]debe llevar a un sitemap, a un índice de sitemap o bien a una URL equivalente. No es necesario que la URL esté en exactamente el mismo host que el archivo robots.txt. Pueden existir varias entradas
sitemap. Como se trata de líneas de miembros que no pertenecen al conjunto, estos no están vinculados a ningún user-agent específico, y todos y cada uno de los rastreadores pueden proseguirlos, toda vez que esté tolerado.
Orden de prioridad de líneas de miembros de grupos
A nivel de miembro de grupo, particularmente para las directivas
allowy
disallow, la regla más específica en función de la longitud de la entrada
[path]prevalece sobre la menos específica (más corta). En caso de reglas en enfrentamiento, incluidas las que tienen comodines, se emplea la regla menos restrictiva.
allow
:
/p
disallow
:
/
Resultado:
allow
allow
:
/folder
disallow
:
/folder
Resultado:
allow
allow
:
/page
disallow
:
/*.htm
Resultado:
undefined
allow
:
/$
disallow
:
/
Resultado:
allow
allow
:
/$
disallow
:
/
Resultado:
disallow
