Utiliser le web unblocker de Bright Data
Inscris-toi
(c'est gratuit !)
Un compte est nécessaire pour participer aux discussions.
Créer un compteToutes les questions
Johann Bacha
11 juin 2025
Résolue
4 réponses
Bonjour,
Je n'est pas compris quel plan il faut prendre
Adbach
22 mai 2025
Résolue
1 réponse
Demande du lien du Web Unblocker Bright Data
00:00:00 :Dans cette partie, on va voir comment utiliser le Web Unlocker de Bright Data qui va nous permettred'avoir un réseau de proxy résidentiel et également des fonctionnalités pour résoudre lesCAPTCHA puisque là on va avoir les deux cas de figure. Des fois Amazon va bloquer notre IP,
00:00:14 :dans ce cas-ci il faudra passer sur un autre IP donc un autre proxy et des fois ça va être desCAPTCHA à résoudre et le Web Unlocker va faire tout ça pour nous. Et vous voyez que le coût
00:00:22 :est très limité, on est à 3 dollars par 1000 requêtes, 1000 requêtes qui ont été réussies,ça veut dire que si on a une requête qui échoue parce qu'on est bloqué ou parce qu'il y a unCAPTCHA qui n'a pas été réussi, ça ne va pas compter dans ce nombre de requêtes. Donc 1000
00:00:36 :requêtes réussies ça fait beaucoup, vous voyez que par exemple si on lance notre script une foispar jour ou même dix fois par jour, on peut avoir notre script qui va tourner pendant à peu près unan. Là si on fait trois requêtes par jour ça ferait trois fois 365 donc on arrive à plus de
00:00:49 :1000 et ça nous coûterait donc 3 dollars sur l'année pour lancer notre script trois fois parjour. Donc c'est vraiment des coûts assez faibles pour ce qu'on a besoin de faire, il suffit
00:00:58 :d'économiser 10 euros sur le prix de l'objet qu'on va acheter et on est déjà rentré dans le fraisavec ce coût de 3 par 1000 requêtes réussies. Donc on va voir les Access Parameters ici,
00:01:09 :vous pouvez également changer la géolocation si vous voulez accéder à une version d'Amazonplus spécifique, c'est possible également. Moi je vais laisser ça comme ça et je vais aller dans
00:01:19 :Access Parameters et on va retrouver les informations dont on va avoir besoin, notammentle host, le username et le password. Vous avez également la chaîne de caractère complète que
00:01:28 :vous pouvez copier directement depuis ici, vous pouvez également la retrouver dans lesexemples de code donc si je clique ici sur le bouton on va avoir des exemples avec l'API iciet avec Python et en fait ce qui nous intéresse nous c'est cette chaîne de caractère ici quiest constituée tout simplement du host, du username et du password. Donc je sais plus
00:01:46 :exactement dans quel ordre, là je crois que c'est le host, ici c'est le mot de passe et ici c'estle username si je ne me trompe pas. Donc on peut copier directement tout ça ici et retourner dans
00:01:56 :notre script pour l'utiliser. Donc cette chaîne de caractère que j'ai copiée je vais la mettredans mon fichier d'environnement ici, alors pas dans le pushover token, on va la mettre dans unevariable qu'on va appeler proxy et je vais la mettre ici et on va pouvoir l'utiliser en tant
00:02:07 :que proxy très facilement dans notre requête ici qu'on effectue. On va enlever le user agent,on n'en a plus besoin puisque tout ça va être géré directement par le proxy qui va s'assurerd'avoir quelque chose qui est logique et qui n'est pas détecté comme un script et je vais
00:02:22 :créer une variable ici qui va contenir mes proxys, donc je vais l'appeler tout simplementproxys et ça va être un dictionnaire qui va contenir deux clés, une clé pour le HTTP et uneclé pour le HTTPS même si vous allez voir qu'on va mettre la même valeur dans les deux donc c'est
00:02:34 :juste pour gérer les deux cas de figure soit les connexions avec HTTP soit avec HTTPS. Donc ilfaut mettre les deux clés pour que ça fonctionne sinon on va avoir une erreur avec request maisà l'heure où j'enregistre cette vidéo en 2024 on est quasiment assuré surtout sur des gros sites
00:02:48 :comme ça d'être toujours avec des requêtes HTTPS. Donc ici on va mettre tout simplementnotre proxy qu'on va chercher à partir de OS environ et qui est dans la variable d'environnementproxy et on va la mettre également ici pour le HTTP donc je la mets là et ne vous inquiétez pas
00:03:02 :si on retourne voir notre variable d'environnement là vous voyez que ça commence par HTTP et on n'apas HTTP ou HTTPS c'est normal parce qu'en fait c'est ici juste la connexion vers le proxy doncla connexion vers le proxy doit être faite en HTTP mais la connexion derrière effectuée par le proxy
00:03:18 :elle va être faite en HTTPS dans le cas d'Amazon puisqu'on va accéder au script en HTTPS si onrevient ici on est bien avec le HTTPS pour accéder à l'URL d'Amazon. Et donc cette variable proxy je
00:03:29 :vais pouvoir la passer à ma requête dans un argument qui s'appelle proxy également et onva rajouter un verify égale false sinon on va avoir des problèmes avec le SSL donc le certificatlà encore je vais pas trop rentrer dans les détails ça pourrait devenir assez technique maissi vous ne faites pas ça vous aurez une erreur de certificat SSL et ça ne fonctionnera pas. Dans ce
00:03:47 :cas-ci on va avoir juste un petit avertissement et on verra par la suite comment on peut enlevercet avertissement s'il vous énerve mais pour l'instant on va laisser ça comme ça. Donc là je
00:03:55 :vais retester mon script pour voir si tout fonctionne de nouveau là comme on a vu dans ladernière partie on était bloqué par Amazon donc je vais relancer on va voir si on n'est plus bloquénormalement ça devrait être le cas donc je relance avec main ici et on va voir donc là on
00:04:09 :a l'avertissement comme je vous disais qui nous dit qu'on a mis le verify qui est égal à falsedonc là c'est un petit peu plus long et on a bien réussi à récupérer le prix c'est un peu plus longparce que forcément on passe par un proxy on a aussi toute la logistique de Bright Data qui va
00:04:22 :s'assurer qu'on ne fait pas du scrapping trop agressif qui va également s'il y a des captchasou quoi que ce soit d'autres par exemple donc encore une fois un blocage par adresse IP quiva changer automatiquement tout ça qui va changer de proxy qui va résoudre le captcha donc c'est
00:04:35 :pour ça que c'est un peu plus long mais avec ça au moins on est assuré de ne pas être bloquéet il suffit juste de rester éthique et de ne pas bombarder le site de requête. Donc vous voyez là
Ce n'est pas fini...
✋
Tu as complété % du parcours 🔥
Termine l'intégralité de la formation pour pouvoir débloquer ton attestation de réussite.
