Générateur de robots.txt
Créez un fichier robots.txt avec des règles Allow et Disallow par robot, des liens vers le sitemap et un délai d'exploration. Modèles pour WordPress et boutiques en ligne, avec validation.
Chargement de Générateur de robots.txt…
Vos fichiers ne quittent jamais votre appareil
Comment utiliser Générateur de robots.txt
- 1
Ouvrez Générateur de robots.txt sur cette page. Il se charge directement dans votre navigateur.
- 2
Ajoutez votre fichier, texte ou valeurs et ajustez les réglages.
- 3
Copiez ou téléchargez le résultat. Rien n'est envoyé ni stocké.
À propos de cet outil
Le fichier robots.txt se trouve à la racine de votre site web et indique aux robots des moteurs de recherche quelles parties du site ils peuvent visiter. Ce générateur de robots.txt crée le fichier pour vous à partir d'un formulaire simple : choisissez les robots, ajoutez des règles Allow et Disallow, indiquez votre sitemap, puis copiez ou téléchargez un fichier vérifié au fur et à mesure.
Comment créer un fichier robots.txt
- Partez d'un modèle : Open to all, Block all, WordPress ou E-commerce.
- Choisissez les user agents : tous les robots (*), ou des robots précis comme Googlebot, Bingbot, DuckDuckBot, YandexBot, Baiduspider, Slurp, facebookexternalhit, Twitterbot, LinkedInBot ou un nom personnalisé.
- Ajoutez des règles Disallow et Allow pour des chemins, ou choisissez parmi les chemins courants à bloquer.
- Ajoutez l'URL de votre sitemap et, si besoin, un délai d'exploration et un hôte préféré.
- Vérifiez la validation et l'aperçu, puis téléchargez robots.txt et placez-le à la racine de votre site.
La syntaxe en bref
| Règle | Signification |
|---|---|
| User-agent: * | Les règles suivantes s'appliquent à tous les robots |
| Disallow: /admin/ | Ne rien explorer sous /admin/ |
| Allow: /admin/help | Exception à un Disallow plus large |
| Disallow: /*.pdf$ | Bloquer toutes les URL se terminant par .pdf |
| Disallow: /*? | Bloquer les URL avec paramètres |
| Sitemap: https://example.com/sitemap.xml | Emplacement de votre sitemap |
À savoir
- Robots.txt contrôle l'exploration, pas l'indexation. Une page bloquée peut quand même apparaître dans Google si d'autres sites pointent vers elle. Pour exclure une page des résultats, utilisez une balise meta noindex et laissez-la être explorée.
- Ce n'est pas une protection. Le fichier est public et tout le monde peut le lire. Protégez les zones privées par une connexion.
- Ne bloquez pas le CSS, le JavaScript ni les images dont vos pages ont besoin ; Google affiche les pages et pourrait mal les évaluer sinon.
- Google ignore Crawl-delay ; Bing et quelques autres le respectent.
- Un fichier par hôte, à l'adresse https://yourdomain.com/robots.txt, nommé en minuscules.
Après l'envoi, testez le fichier dans Google Search Console. Créez ensuite un sitemap avec le générateur de sitemap XML et définissez les bonnes balises pour chaque page avec le générateur de balises meta.
Questions fréquentes
Où placer le fichier robots.txt ?
À la racine de votre domaine, pour qu'il soit accessible à l'adresse https://yourdomain.com/robots.txt. Chaque sous-domaine a besoin de son propre fichier.
Robots.txt empêche-t-il une page d'apparaître dans Google ?
Non. Il empêche l'exploration, pas l'indexation. Utilisez une balise meta noindex sur la page et ne la bloquez pas dans robots.txt, pour que Google puisse voir le noindex.
Comment bloquer tous les robots ?
Utilisez le modèle Block all, qui écrit User-agent: * suivi de Disallow: /. Réservez-le aux sites de préproduction ou privés.
Quelle est la différence entre Allow et Disallow ?
Disallow bloque un chemin ; Allow crée une exception à l'intérieur d'un chemin bloqué. Quand des règles se chevauchent, Google suit la plus précise.
Dois-je ajouter mon sitemap dans robots.txt ?
Oui. Une ligne Sitemap aide tous les moteurs de recherche à le trouver, en plus de le soumettre dans Search Console.
Puis-je bloquer les robots d'IA ?
Oui. Ajoutez un user agent personnalisé comme GPTBot ou CCBot avec Disallow: /. Les robots bien conçus le respectent ; d'autres peuvent l'ignorer.