Comprendre robots.txt et comment le configurer

Robots.txt est un simple fichier texte indiquant aux robots des moteurs de recherche quelles parties de votre site ils devraient ou non explorer.

À quoi il sert réellement

Il sert principalement à garder les robots hors des zones d'administration, du contenu dupliqué ou des pages lourdes en ressources n'ayant pas besoin d'être indexées — pas un outil de sécurité, puisque le fichier lui-même est publiquement lisible.

L'erreur coûteuse

Un robots.txt mal configuré bloquant accidentellement tout votre site (un Disallow: / égaré) est une cause étonnamment courante de disparition d'un site des résultats de recherche — vérifiez toujours après un changement.

Pour aller plus loin

• Contactez notre équipe
• Parcourir la base de connaissances
• Google Search Central