Les outils utilisés
Inscris-toi
(c'est gratuit !)
Un compte est nécessaire pour participer aux discussions.
Créer un compte00:00:00 :Pour réaliser ce projet, on va utiliser beaucoup d'outils qui vont chacun avoir une fonction trèsprécise. Pour réaliser le scrapping, on va utiliser le Web Unlocker de Bright Data,
00:00:08 :puisque nous n'avons pas besoin ici de faire des interactions complexes avec le site web,on va juste naviguer vers une page pour récupérer les données de prix. Mais comme Amazon est assez
00:00:18 :agressif en termes de scrapping, on va utiliser une solution comme le Web Unlocker qui va nousassurer de passer à travers les captchas potentielles ou les blocages par adresse IP,parce qu'Amazon, oui, peut vous bloquer même si vous ne faites pas un scrapping agressif. Donc
00:00:32 :même en faisant des requêtes à un rythme raisonnable, par exemple une ou deux fois parminute, si vous le faites régulièrement, à un moment, ils peuvent quand même décider de bloquerune adresse IP. Dans ce cas-ci, la rotation d'IP du Web Unlocker qui est faite automatiquement va
00:00:44 :nous aider à passer à travers ces blocages. Le deuxième outil qu'on va utiliser, c'est l'outilqui va nous permettre de mettre en ligne notre projet, et on va le faire sur un VPS d'infomaniac.
00:00:52 :Si vous souhaitez soutenir la chaîne, vous trouverez en commentaire de cette vidéo unlien d'affiliation qui vous permettra de créer votre compte et votre VPS sur infomaniac. Donc
00:01:01 :nous, on va utiliser ce VPS pour mettre en ligne notre script et utiliser un cronjob pour lancerce script de façon régulière pour aller récupérer les informations de prix. Et le VPS va nous assurer
00:01:11 :d'avoir ce script qui va rouler 24 heures sur 24, 7 jours sur 7, sans avoir besoin de notre côté delaisser notre ordinateur allumé. Les deux derniers services qu'on va utiliser, ça va être Pushover
00:01:21 :et Sentry, deux services que vous pouvez utiliser gratuitement. Ils ont des options payantes, maispour les besoins de ce projet, on n'a pas besoin des options payantes. Les options gratuites nous
00:01:29 :suffisent. Avec Pushover, vous pourrez par exemple envoyer jusqu'à 10 000 notifications par mois survotre téléphone, donc ça devrait être largement suffisant. Pushover va donc, comme je viens de
00:01:37 :l'expliquer, nous permettre d'envoyer des alertes directement sur votre téléphone. Donc c'est trèspratique pour être averti dans le cas d'un scrapping d'une information qui nous intéresse. Dans notre
00:01:46 :cas, l'information que le prix du produit qui nous intéresse a eu une chute significative. Et Sentry,c'est un service qui va nous permettre d'avoir un log des erreurs. On peut également lier
00:01:55 :Sentry à Pushover pour être averti en cas de problème sur notre script, là encore avec unealerte sur notre téléphone. Donc Sentry, c'est un peu comme un loggeur plus plus, si vous voulez,
00:02:04 :ça va nous permettre d'avoir accès à toutes les erreurs potentielles qu'on aura dans notrescript et de les avoir loguées à un endroit pour en avoir une trace et pouvoir indiquer si ellesont été résolues ou non. Pour finir, on va utiliser deux bibliothèques au niveau de Python,
Ce n'est pas fini...
✋
Tu as complété % du parcours 🔥
Termine l'intégralité de la formation pour pouvoir débloquer ton attestation de réussite.
