Tentatives avec requests
Inscris-toi
(c'est gratuit !)
Un compte est nécessaire pour participer aux discussions.
Créer un compte00:00:00 :Pour commencer, on va faire un test tout simple avec la librairie Requestqui va nous permettre de voir si on peut récupérer directement avec une simple requête vers cette URLles informations qui nous intéressent, donc les titres des films et leurs URLspour ensuite aller sur les pages spécifiques récupérer les horaires des films en question.
00:00:18 :Donc ce qu'on va faire, c'est dans Curser, avec mon projet ici qui pour l'instant ne contient rien,je n'ai même pas créé un seul fichier ni créé d'environnement virtuel,on va ouvrir le panneau ici et dans Composer, je vais utiliser le mode Agentpuisqu'on va vouloir permettre ici à l'intelligence artificielle de créer des fichiers
00:00:33 :et même d'exécuter du code dans le terminal puisqu'on va profiter de cette sessionégalement pour configurer notre environnement virtuel et installer les librairies nécessaires.Donc je vais commencer un prompt ici, je vais lui dire« Fais un environnement virtuel avec Veeamv et Python 3 pour faire du scrapping.
00:00:49 :Tu vas commencer par installer Request, fais une requête avec le module Request,récupère le HTML et sauvegarde-le sur le disque dans le dossier d'exécution.Change également le UserAgent pour indiquer qu'on fait du scrapping.
00:01:01 :Je te donnerai l'adresse email à indiquer. »Donc on va attendre, voilà.« Fais un environnement virtuel avec Veeamv et Python 3 pour faire du scrapping.
00:01:13 :Tu vas installer Request avec le module Request et sauvegarde-le sur le disque.Change également, alors c'est pas UserAgent mais UserAgent,voilà, et là on va dire qu'on fait du scrapping et indique l'adresse email support at docstring.fr.
00:01:30 :Et là on va retourner donc récupérer cette adresse et on va la donner,comme ça il va la mettre directement.Donc fais une requête avec le module Request vers cette adresse, récupère le HTML, voilà.
00:01:40 :Donc normalement on a tout ce qu'il faut, on lance,et là il devrait donc commencer par créer l'environnement virtuel,voilà donc avec Python 3-mvenv, on va lancer cette commande,il va créer l'environnement,donc là il y a Cursor qui m'indique qu'il y a un nouvel environnement virtuel qui a été créé,
00:01:56 :je vais dire que je veux bien utiliser cet environnement virtuel pour ce projet,donc là il va l'installer, il va l'utiliser.On va sourcer cet environnement virtuel et installer Request,donc ça aussi jusque là c'est tout bon, je valide.
00:02:10 :Et ensuite il va donc probablement créer un fichier avec le module Requestqui va faire cette requête qu'on a indiquée,donc voilà avec le UserAgent qui a été modifié,on va voir ce qu'il nous a fait,donc on a bien l'URL ici, on a le request.get avec les headers qui ont été modifiés,
00:02:27 :le timestamp, filename, on ouvre, on écrit, et voilà.Donc normalement c'est tout bon, je vais aller voir dans mes fichiers,j'ai bien un fichier scrapper.py, je vais accepter tous les changements,
00:02:38 :et on va lancer la commande.Alors là je vais fermer ce panel et je vais le faire directement,donc avec Command J j'ouvre le terminal,on voit que l'environnement virtuel est bien ici indiqué,donc on va pouvoir lancer avec normalement python scrapper.py le script,
00:02:53 :ça fonctionne bien et si on vient voir ici on a bien notre HTML qui est sauvegardé.Donc là ce que je vais faire c'est tout simplement une petite recherche,on peut aussi lancer un live server pour ouvrir ce fichier et voir ce que ça donne.
00:03:03 :Donc là j'ouvre le fichier dans mon navigateur internetet on voit qu'on n'a aucune indication des films qui nous intéressent.Je peux faire une recherche également dans le fichier,donc si je cherche par exemple un des films en ce moment,il y a Better Man et je vois qu'il n'est pas là,
00:03:16 :donc ça m'indique effectivement qu'avec request ça n'est pas possible.Bien sûr on peut le faire différemment,on n'est pas obligé de faire avec une request comme ça,on peut le faire directement en allant dans un navigateur.
00:03:25 :Donc dans le navigateur ici, là je suis avec Brave,dans les settings je peux désactiver le javascriptet ça va avoir le même effet en fait que d'utiliser requestpuisque request ne peut pas évaluer le javascript.
00:03:36 :Donc là si je relance la requête on voit qu'on a bien l'enveloppe du site,mais on n'a pas les films qui nous intéressent.Si je réactive le javascript et que j'actualise la page,cette fois-ci on a bien les informations.
00:03:47 :Donc ça nous indique ici que c'est bien du javascriptqui permet d'afficher ces informationset que donc uniquement avec request,avec une simple requête vers cette URL,ça ne permet pas de récupérer ces informations.
00:03:58 :Donc là vous voyez que c'est beaucoup plus rapide de le faireen désactivant le javascript qu'en faisant une requête avec request,même si l'IA nous facilite grandement la vie,mais là ce que je voulais faire surtout au-delà de çac'est créer notre environnement.
00:04:08 :Donc là on a bien notre environnement virtuel qui a été créé,un fichier avec la logique principale,donc ça va nous permettre de nous mettre dans le bainpour l'utilisation de Cursoret de ensuite faire des choses un petit peu plus complexes,puisqu'on va voir qu'on peut finalement récupérer la liste des films
Ce n'est pas fini...
✋
Tu as complété % du parcours 🔥
Termine l'intégralité de la formation pour pouvoir débloquer ton attestation de réussite.
