<meta name="robots">
La valeur robots pour l'attribut name de l'élément HTML <meta> (souvent appelée « balise robots ») définit le comportement d'exploration et d'indexation que les robots d'exploration web doivent utiliser avec la page.
Si elle est spécifiée, vous définissez les instructions pour les robots dans l'attribut content de l'élément <meta> sous forme de liste de règles séparées par des virgules.
Par exemple, pour indiquer aux robots qu'une page doit être exclue de leurs index de recherche, on peut utiliser la valeur noindex :
<meta name="robots" content="noindex" />
Note : Seuls les robots coopératifs suivent ces règles. Un robot doit tout de même accéder à la ressource pour lire les en-têtes et les éléments meta (voir X-Robots-Tag : Interaction avec robots.txt). Si vous souhaitez éviter la consommation de bande passante par les robots, un fichier robots.txt restrictif est plus efficace que des règles d'indexation car il bloque totalement l'exploration des ressources.