Dans un hangout aux webmasters, un éditeur a demandé à quelle vitesse Google supprimait des pages de l’index s’il y ajoutait un noindex nofollow. L’éditeur a déclaré avoir ajouté noindex mais la page est restée dans l’index de Google. John Mueller de Google a répondu avec une réponse décrivant la fréquence à laquelle certaines pages sont indexées. John Mueller a révélé que les URL sont explorées à des rythmes différents. C’est un peu bien compris. Ce qui était plus intéressant, c’est qu’il a déclaré que certaines URL ne pouvaient être explorées qu’une fois tous les six mois. L’éditeur a déclaré: Nous voyons des choses qui datent d’il y a longtemps, où nous avons changé le noindex nofollow mais nous le voyons toujours dans l’index. Et c’est plusieurs mois après que nous ayons changé cela. »
John Mueller a répondu: Je pense que le plus dur ici est que nous n’explorons pas les URL avec la même fréquence tout le temps. Donc, certaines URL que nous explorerons quotidiennement. Certaines URL peuvent être hebdomadaires. D’autres URL tous les deux mois, peut-être même tous les six mois environ. C’est donc quelque chose pour lequel nous essayons de trouver le bon équilibre, afin de ne pas surcharger votre serveur. Et si vous avez apporté des modifications importantes à votre site Web à tous les niveaux, beaucoup de ces modifications sont probablement prises en compte assez rapidement, mais il en restera quelques-unes. Donc, en particulier, si vous faites des choses comme des requêtes sur le site, il y a une chance que vous voyiez ces URL qui sont explorées comme une fois tous les six mois. Ils seront toujours là après quelques mois.
Et c’est en quelque sorte… le moment normal pour nous de retraiter / re-crawler les choses. Ce n’est donc pas nécessairement le signe que quelque chose est techniquement complètement cassé. Mais cela signifie que si vous pensez que ces URL ne devraient vraiment pas être indexées du tout, vous pouvez peut-être le sauvegarder et dire bien voici un fichier de plan du site avec la dernière date de modification afin que Google se déclenche et essaie de doubler. vérifiez-les un peu plus vite qu’autrement. » Utilisez le plan du site pour déclencher l’exploration mise à jour John Mueller a suggéré de mettre à jour le plan du site et de laisser Googlebot découvrir la dernière date modifiée et de l’utiliser comme un indice pour qu’il sorte et explore les anciennes pages Web. Outil d’inspection d’URL Google Quelque chose que John Mueller n’a pas mentionné est l’utilisation de l’outil d’inspection d’URL de Google. Selon la page d’aide aux webmasters de Google sur la réindexation, une soumission peut prendre jusqu’à une semaine ou deux. L’outil d’inspection d’URL est utile si vous avez quelques URL individuelles qui nécessitent une nouvelle exploration. Si vous avez un grand nombre de pages Web, Google vous recommande de soumettre un plan de site à la place.