La solution Bright Data
Inscris-toi
(c'est gratuit !)
Un compte est nécessaire pour participer aux discussions.
Créer un compte00:00:00 :Dans cette formation, on va réaliser plusieurs scripts de scrapping.Vous allez voir que la base théorique est assez simple et rapide à comprendre.En quelques heures, on peut apprendre tout ce qu'il faut pour récupérer des données à partir d'une page HTML.
00:00:11 :La partie complexe du scrapping, elle se situe à trois niveaux.Premièrement, les blocages techniques.Ce sont des blocages qui sont dus à l'évolution des technologies du Webet notamment l'utilisation de plus en plus courante de JavaScriptqui va nécessiter l'utilisation d'outils plus avancés qu'on va voir dans cette formation
00:00:27 :comme Playwright pour récupérer le contenu généré dynamiquement par les sites Web modernes.Deuxièmement, on a les blocages volontaires, c'est-à-dire les processus mis en place par les sites Webpour éviter la collecte de données par des scripts.
00:00:39 :Et pour finir, la partie automatisation et gestion des erreursparce que le but d'un script, et ça ne s'applique pas qu'au scrapping,c'est de pouvoir fonctionner en toute autonomie sans aucune intervention humaine.
00:00:48 :Dans le cas du scrapping, la difficulté c'est qu'on n'est pas tout seul.On va récupérer des données sur des sites Web qui sont constamment en évolution.
00:00:55 :Les scripts de scrapping vont donc avoir tendance à planter plus fréquemment qu'un script utilisé dans d'autres domaineset c'est bien important de le prendre en compte pour être averti en cas de changement ou de problèmeet s'assurer que nos scripts fonctionnent comme ils sont censés le faire.
00:01:09 :Dans cette formation, on va voir comment adresser ces trois problématiqueset pour le cas des blocages volontaires, on va utiliser les outils du sponsor de cette vidéo, Bright Data.
00:01:17 :Il faut savoir que vous pouvez faire du scrapping jusqu'à un certain niveau sans débourser un centime.Mais si vous souhaitez faire des scripts robustes sur des sites très fréquentés et bien protégés comme Amazon ou Airbnb,il faudra utiliser des solutions professionnelles comme Bright Data.
00:01:31 :Bright Data propose plusieurs solutions qui vous permettent d'éviter ces blocages,notamment un réseau de proxy résidentiel pour éviter les blocages par adresse IP,un outil appelé Web Unlocker pour résoudre les problèmes plus complexes comme les captchaset le Scrapping Browser, un nouvel outil qui permet d'émuler le plus fidèlement possible un humain
00:01:49 :avec un vrai navigateur et les mêmes outils que le Web Unlocker pour contourner les blocages.Bright Data, c'est aussi une entreprise qui a à cœur le côté éthique du scrappinget c'est un point très important, autant pour moi que pour vous,parce que le but, c'est de rester dans les clous et la légalité.
Ce n'est pas fini...
✋
Tu as complété % du parcours 🔥
Termine l'intégralité de la formation pour pouvoir débloquer ton attestation de réussite.
