Robots.txt

Fichier à la racine d'un site qui indique aux robots quelles zones ils peuvent ou non explorer. N'empêche pas l'indexation d'une URL déjà connue.

Lecture dans SFT

Outil de Structure à manier avec précision : bloquer le crawl n'est pas la même chose que désindexer, une confusion fréquente qui casse le référencement par erreur.

Piliers concernés : Structure

Retrouver ce terme dans le glossaire complet ↗