Automatiser l'ouverture du debugger
Inscris-toi
(c'est gratuit !)
Un compte est nécessaire pour participer aux discussions.
Créer un compte00:00:00 :Dans cette partie on va rajouter une petite fonction qui va nous permettre d'ouvrirautomatiquement la fenêtre d'inspection du debugger de Bright Data puisque comme on l'avu dans la partie précédente c'est possible de le faire directement via l'interface doncen passant ici par Chrome DevTool Debuggers ce qui va ouvrir ici une petite fenêtre avec un lien
00:00:17 :sur lequel on peut cliquer mais ce n'est pas très pratique à chaque fois il faudrait qu'on arrête lescript qu'on aille sur l'interface ici pour ouvrir le debugger donc il y a un moyen de faire plussimple que vous allez retrouver dans la documentation de Bright Data vous pouvez le
00:00:31 :faire donc comme c'est indiqué ici manuellement avec le panneau de contrôle comme on l'a faitmais vous pouvez aussi le faire via un script donc vous avez le code ici donc on va le copier et onva juste enlever les await pour les mettre dans notre script puisque nous on utilise une façon
00:00:45 :de faire qui est synchrone donc je vais revenir ici on va créer une fonction qui va nous permettred'activer ou non l'ouverture de ce debug view donc je vais faire une fonction je vais appeler parexemple open debug view et on va lui passer la page puisque on a besoin de ça pour créer un
00:00:58 :nouveau contexte donc je colle tout le code ici on va mettre une docstring ici pour dire open thebright data debug view et on va faire quelques modifications ici on va enlever le browser.newpage
00:01:11 :puisqu'on aura déjà une page nous ce qu'on veut c'est juste ouvrir cette page dans le debug viewmais non pas en créer une et on va enlever tous les await ici donc je vais sélectionner les troisawait et les enlever et le reste du code on va le laisser comme ça on va enlever le print et ce qu'on
00:01:25 :va faire à la fin c'est utiliser une bibliothèque qui s'appelle web browser qui est disponible dansla librairie standard donc on va importer web browser et web browser ça va permettre d'ouvrirle navigateur par défaut que vous utilisez sur votre système d'exploitation donc je vais faireweb browser.open et on va ouvrir cette url qui est dans inspect url donc dans la variable qu'on
00:01:44 :définit juste au dessus ici et ce qu'on va faire c'est donc rajouter la possibilité en passant unparamètre à notre fonction run d'ouvrir ou non le navigateur donc on a déjà le paramètre headlessici qui par défaut est à true donc on va rajouter un paramètre ici qu'on va appeler headless par
00:02:00 :défaut on va le mettre à false et je vais passer cette valeur ici à la place de true donc ça c'estdans le cas où on ne va pas utiliser bright data on veut spécifier si oui ou non on veut ouvrir lenavigateur local en headless ou non et pour bright data on va le faire à un autre endroit puisque là
00:02:15 :on fait juste la connexion et la décision d'ouvrir le debug view va être avec cette fonction ici qu'onva appeler ou non donc on va aller plus loin ici et après la création de la page donc ici quandon fait un page browser new page on va décider si on souhaite oui ou non ouvrir la vue de debug
00:02:31 :donc les deux conditions à réunir c'est qu'on souhaite utiliser bright data donc ça c'est leparamètre qu'on a ici donc si ce paramètre est à true et que on a également le paramètre headlessqui est à true donc là on va mettre and not headless puisque headless ça voudrait dire qu'on souhaiterait
00:02:45 :ne pas avoir de navigateur donc il faut inverser cette condition c'est un petit peu confus peut-êtremais headless ici quand on met headless à true ça veut dire qu'on souhaite ne pas ouvrir lenavigateur donc nous ce qu'on veut c'est si on choisit d'utiliser bright data et de ne pas avoir
00:02:59 :le mode headless donc le mode sans navigateur alors ça veut dire qu'on souhaite utiliser cettedebug view donc là on va tout simplement appeler debug view avec la page qu'on a récupéré à laligne juste au dessus donc voilà normalement ça devrait suffire et on va pouvoir spécifier ce
00:03:13 :paramètre ici dans l'appel de la fonction donc on va dire headless égale à false puisque on souhaiteafficher dans ce cas ci le navigateur donc je vais mettre bright data égale à true headless égale àfalse et là normalement ça devrait quand on lance le script ouvrir la debug view de bright data
00:03:27 :automatiquement donc je vais tester tout ça je clique sur le bouton pour lancer le script on seconnecte au scrapping browser on va attendre un petit peu et là on a bien donc le navigateurpar défaut sur mon ordinateur qui dans ce cas ci est le navigateur arc qui m'ouvre une nouvelle
00:03:41 :fenêtre avec automatiquement la debug view de bright data donc on voit ici qu'on a le cdnbright data.com et on va avoir donc le script qui va se dérouler avec le code html à droite et le
00:03:51 :défilement des pages normalement qui va s'effectuer puisque c'est ce que fait notre script dans cecas ci donc on appuie bien sur le bouton continuer et on va naviguer voilà on descend la page onnavigue etc etc donc ça fonctionne parfaitement on a bien cette vue qui s'ouvre on va tester les
00:04:05 :autres scénarios on va mettre bright data égal à false on va laisser le headless à false et lànormalement on va passer sur notre navigateur voilà en local qui est beaucoup plus rapidecomme vous le voyez puisque là on fait tout au niveau de notre ordinateur donc je vais arrêter
00:04:18 :le script on va mettre le headless cette fois ci à true pour vérifier si on peut bien faire lamême chose sans bright data pour l'instant et avec le navigateur qui n'est pas affiché donc on vatester tous les cas de figure donc le deuxième cas de figure voilà vous voyez que là dans ce
00:04:31 :cas ci le navigateur ne s'ouvre pas mais on a bien la navigation qui se fait et dernier cas de figureon va tester avec bright data qui est égal à true et le headless à true donc là ça devrait être unpetit peu plus lent on ne devrait pas voir non plus d'ouverture de quoi que ce soit et on va
Ce n'est pas fini...
✋
Tu as complété % du parcours 🔥
Termine l'intégralité de la formation pour pouvoir débloquer ton attestation de réussite.
