X-Robots-Tag : Les metas pour les robots dans l'entête HTTP

Il est possible de spécifier les métas tag dans l'entête HTTP, au lieu de les mettre dans le fichier robots.txt(*) ou dans la page HTML via la balise meta.
(*)Il est possible de combiner les métas tag dans l'entête HTTP et le fichier robots.txt.
Les métas tag dans l'entête HTTP sont reconnus par Google, Bing, ...
Pour mettre les metas tag dans l'entête HTTP, vous devez mettre dans le fichier .htaccess le code suivant :

<Files> contient valeur de X-Robots-Tag
~ ".pdf$" est la règle qui détermine les ressources qui vont avoir le X-Robots-Tag, pour notre exemple c'est tous les fichiers ayant une extension ".pdf".
Header set X-Robots-Tag peut prendre une ou plusieurs valeurs ci-dessous (séparées par une virgule):

all	Pas de restriction, ne sert à rien de le spécifier.
noindex	Ne plus afficher cette page dans les résultats de recherche et pas de "En cache".
nofollow	Ne pas suivre les liens sur cette page, si il y en a.
none	Revient à mettre "noindex, nofollow"
noarchive	Ne pas montrer un lien "En cache" dans les résultats de recherche.
nosnippet	Ne pas montrer un extrait dans les résultats de recherche de cette page.
noodp	Ne pas utiliser les métadonnées du projet Open Directory pour des titres ou des extraits présentés pour cette page.
notranslate	N'offrez pas de traduction de cette page dans les résultats de recherche.
noimageindex	Ne pas indexer les images sur cette page.
unavailable_after: date/time	Ne plus afficher cette page dans les résultats de recherche après la date / heure indiquée. La date / heure doit être spécifiée dans le format RFC 850 format.