Scraper les SERPS Google avec Chrome et l'extension Scraper
Par Sébastien Billard le 11/05/2016 - SEO et moteurs
Besoin de scraper les résultats de recherche Google ? Voici une méthode utilisable avec l'extension Scraper pour Chrome. Une fois l'extension installée, faite votre recherche dans Google, faite un clic-droit n'importe où dans la page de résultats et cliquez sur "scrape similar". La fenêtre de l'extension s'ouvre.
Dans la rubrique "Selector", utilisez l'expression Xpath suivante :
//*[@id="rso"]/div/div/div[@class="rc"]
Cette expression va sélectionner dans la page de résultats Google tous les <div> de classe "rc" contenu dans le bloc "rso", c'est à dire les blocs correspondant à chaque site listé, lesquels contiennent le titre, le lien vert (ou fil d'ariane), et le snippet (description). Maintenant, dans la rubrique "Columns, créez quatre expressions Xpath configurées de la façon suivante :
Une fois ces lignes créées, cliquez sur "Scrape" : la fenêtre de droite devrait alors afficher dans l'ordre le titre de chaque site, l'URL visible (ou fil d'ariane), le snippet, et l'URL de destination du lien. Vous n'avez plus alors qu'à exporter les données dans Excel ou Google Docs ;) N'oubliez pas de sauvez cette configuration dans les presets pour la réutiliser facilement.
Commentaires
Vraiment pratique cette petite extension, même si personnellement je préfère scraper directement dans Excel avec SEO Tools.
Sympa de filer directement les Xpath, c'est toujours ça de moins à faire ^^
Voilà une solution qui semble facile avec une extension que je ne connaissais pas, merci. Par contre, tu ne précises pas si l'extension en question fait défiler la pagination, ou si on doit passer par la config de Google pour capturer 100 liens, par exemple ?
Bonjour, merci pour cette astuce.
Personnellement, j'utilise un bookmarklet gratuit que j'ai trouvé chez Julien Jimenez, Merci Julien !
Franchement je ne sais pas comment Google peut tenir la charge avec autant d'outils, de méthodes, d'astuces, bref : de moyens pour scraper ses sacro-saintes serps ! Sur les requêtes avec commande de type info et autres j'ai vite deux ou trois captcha de suite au bout de deux utilisations et j'ai l'impression que tout le monde, même la mamie du Cantal, scrappe à tout bout de champ pour trouver sa recette d'aligot...
Le tuto est vraiment simple et parfait. Je tournais un peu en rond pour trouver une moyen simple à mettre pour scraper les SERPS, c'est maintenant chose faite grâce à toi.
Comme pour Jean Luc j'utilise également un bookmarklet mais il me semble l'avoir récupéré sur WebRankInfo... Mais il y en aussi chez Julien Jimenez et c'est possible que cela vienne aussi de lui ;)
En tout cas merci pour ce petit tuto !
C'est l’extension que j'utilise pour scraper des données. Je n'ai jamais utilisé un autre outil. Il est gratuit et facile à prendre en main ;)
Pratique pour ceux qui ne possède pas de licence RDDZ ou Scrapebox ou qui on besoin d'un scrappe rapidement !
Merci pour ce tutoriel, c'est toujours pratique dans certaines situations.
C'est pratique, j'ai pas de licence scrapbox au taff et du coup le Xpath c'est la base
J'utilise Scrapebox pour scrapper le web et je ne connaissait pas ce petit plugin qui peut être pratique pour moi car etant sur Mac, j'utilise Scrapebox sur VMWare. Je vais test et merci pour l'info.
Tuto très bien réalisé, merci cela va beaucoup m'aider car j'utilise Scrapebox mais sans trop aller loin. Je vais tester cette extension chrome et voir ce que ça donne. Encore merci, dommage que vous ne publiez pas suffisamment d'article sur votre blog.
Vraiment génial cet extension! Il fonctionne à merveille! Merci pour ce post!
Je découvre tardivement cette excellente extension. Merci beaucoup Sébastien !
Génial cette petite extension, merci pour l'article !
Une fois de plus Google nous invite à utiliser son propre moteur de recherche. Perso j'ai encore du mal à me détacher de Firefox, mais il est vrai que cet article m'amène à me remettre en question
Come visit my site, I made an attempt at performing a little bit of SEO but it
didn't really work though
Posted this to FB wall, very interesting!
Scrapebox est un outil vraiment complet, on passe souvent à coté de certaines de ses fonctionnalités tellement elles sont nombreuses.
Je vais tester le scraper chrome, voir s'il me convient, cela sera toujours plus pratique que de devoir ouvrir un tool.
Encore une extension indispensable... Merci
Merci, moi qui voulait acheter RDDZ, je vais déjà commencer et tester cette extension.
Excellent tuto merci mille fois!
Merci Sébastien pour ce tuto! Par contre pour moi ça ne marche pas, j'ai bien suivi toutes tes consignes, l'expression Xpath n'a fas l'air de fonctionner, les blocs ne sont découpé et il ne m'affiche strictement rien, je ne fais peut être pas les choses correctement?? Merci pour ta réponse :)
Je me demande si le ce scraper n'est pas trop limité en terme de résultat. Et surtout, vu comment Google n'aime pas qu'on scrappe ses résultats de recherche, est ce qu'on ne va pas se faire blacklister son adresse IP...
Sympa le tuto, direct et clair à la fois !
Superbe astuce, merci :-) ! Semrush permet également de faire la même chose je crois. En tout cas merci pour la méthode gratuite c'est toujours bon à prendre.
Super astuce et qui peut être utile pour retourner toutes les pages d'un site infecté et les rentrer en bulk dans la Search Console. Ça me ferait presque regretter d'avoir investi dans Scrapebox et RDDZ Tools... :)
Idem je cherche à scrapper quelques emails sur une requête précise mais je ne trouve pas de tutos, une idée ?