Les meilleurs robots txt pour l'hébergement drupal

Chaque jour, des millions de personnes utilisent Google Recherche d'images pour trouver des images, des produits et des personnes. Si vous utilisez Drupal, les chances sont que vous n'obtenez pas de ce trafic.

le fichier robots.txt de Drupal contient une erreur majeure. Chose étonnante, l'erreur a été là depuis des années, et très peu de gens semblent savoir.

Jetez un oeil à cet extrait du fichier par défaut Drupal robots.txt. Pouvez-vous repérer le problème?

Par défaut, chaque image que vous téléchargez sur votre site Drupal est stocké quelque part dans le répertoire « sites ». Et, par défaut, Drupal bloque tous les moteurs de recherche de regarder dans votre répertoire « sites ». En d'autres termes, vos images ne sont pas obtenir indexés!

Si vous avez un site Drupal avec les images que vous voulez d'autres personnes à trouver, c'est un problème grave. (J'ai découvert cela par hasard la semaine dernière, quand j'ai remarqué aucune des images sur mon site Effets de texte Photoshop obtenions indexées par Google).

Pour illustrer à quel point ce problème est commun, nous allons jeter un coup d'oeil sur le blog de Dries Buytaert. Dries est, bien sûr, le créateur de Drupal, mais il est aussi un très bon photographe. En fait, Dries a téléchargé des milliers de photos sur son blog, y compris des centaines d'images de DrupalCon et des dizaines de graphiques et des tableaux perspicaces. Mais combien de ces images a Google effectivement indexé?

Seulement 13. Malheureusement, le fichier robots.txt de Dries contient la norme "Disallow: / sites /" ligne.

Si Dries est affecté, vous êtes probablement aussi. Exécution d'un site e-commerce? Votre gamme de produits pourrait être absent de Google Recherche d'images. Avoir un blog de la photographie? Yahoo et Bing ne tiennent pas compte probablement tout ce que vous publiez.

Si personne ne peut rechercher vos images, vous tournez littéralement le trafic. Et pas seulement l'image du trafic de recherche: de haute qualité, des images indexables sont un élément clé d'un site de haut rang. Si vos images ne sont pas indexables, vous faites une erreur majeure SEO.

Pire encore, ce problème ne touche pas seulement les images. PDF, fichiers Flash, documents texte et d'autres ajouts vont tous dans le même dossier « sites ». Google sait comment indexer ces fichiers, mais votre fichier robots.txt est l'arrêt à froid Googlebot.

Heureusement, la solution est simple: il suffit de retirer "Disallow: / sites /" de votre fichier robots.txt. Le fichier se trouve dans votre répertoire principal Drupal et peut être édité avec un éditeur de texte standard. Google devrait prendre les changements en quelques jours et commencer à indexer vos fichiers peu après.

Fixation du fichier robots.txt doit être une priorité pour la prochaine version du point Drupal. Ceci est un problème majeur avec une solution simple. Heureusement, quelqu'un a déjà créé un problème sur Drupal.org. Malheureusement, il a été en suspens depuis plus d'un an. Changeons cela.

Mise à jour: Un correctif pour Drupal 6 a été publié le 12 Décembre. Si vous utilisez Drupal 6.20 ou version ultérieure (y compris Drupal 7), cette question ne vous affecte.

Avez-vous trouvé cet article utile? Vérifiez mon examen d'hébergement Drupal.

Publié par John sur 2010-08-30

Articles Liés

Il y a plusieurs raisons pour lesquelles un administrateur ou un développeur de systèmes peuvent choisir d'héberger plusieurs sites sur le même serveur dans une configuration multisite. Par exemple, une telle configuration pourrait: ...

Introduction Une mise en œuvre d'une recherche efficace est l'une des tâches les plus difficiles dans le développement, mais il est aussi une clé du succès de nombreux sites Web et applications. Une recherche rapide et ...

Qu'est-ce qu'un plan du site? Un plan du site est un fichier dans lequel vous pouvez lister les pages web de votre site pour indiquer à Google et d'autres moteurs de recherche sur l'organisation de votre contenu du site. moteur de recherche web ...

Si vous utilisez plus d'un site Drupal, vous pouvez simplifier la gestion et pouvez mettre à jour vos sites en utilisant la fonction multi-site. Multi-site vous permet de partager un seul Drupal ...

Note: extra merci à Doug Vann pour fournir la motivation pour poster enfin ce blog! Au début de 2016, lorsque les modules liés Solr-API de recherche et de Drupal 8 étaient au début de l'alpha ...