Kezdőoldal » Számítástechnika » Programozás » Weboldalról adatok kinyerése?

Weboldalról adatok kinyerése?

Figyelt kérdés
Arra van valamilyen technológia, hogy egy weboldalról adatokat tudjunk kinyerni? Van egy táblázat, amiről szeretném tudni ha változik. Úgyhogy valami olyan megoldásra gondolnék, ami beállított időközönként le tudná kérdezni a táblázatot ha megadom az oldal url-jét, és pl rávizsgálnék, hogy legutóbb 100 sor volt, most pedig ha több, akkor küldjön nekem egy emailt mondjuk.
2022. nov. 23. 10:29
 1/3 anonim ***** válasza:
93%

Ezt nevezik "web gereblyézésnek" (web scraping).

Ennek két része van: a weboldal kliensoldali kódjának "letöltése" és ezen kód kiértékelése.


Függően az adott nyelvtől ezekre sok lehetőség kinálkozik - példának okáért, a teljesség igénye nélkül:

* Szerveroldali Javascript (nodeJS) alatt letöltéshez ott a httpvagy a https, a request, az axios, a needle, a got, vagy a node-libcurl; kiértékeléshez pedig a jsdom, a htmlparser vagy a cheerio modulok

* Python alatt letöltéshez ott az urllib, a request, a pycurl; kiértékeléshez ott a beautifulsoup vagy a scrapy

vagy többnyelvű, integrált (letöltés+kiértékelés) megoldásnak ott a Selenium Webdriver.

2022. nov. 23. 11:02
Hasznos számodra ez a válasz?
 2/3 anonim ***** válasza:
#2 akárhány fiókot szarsz ide, úgyis másfél pipás maradsz.
2022. nov. 23. 21:31
Hasznos számodra ez a válasz?
 3/3 anonim ***** válasza:
0%

"Arra van valamilyen technológia, hogy egy weboldalról adatokat tudjunk kinyerni?"

Van.

2022. nov. 24. 09:14
Hasznos számodra ez a válasz?

Kapcsolódó kérdések:




Minden jog fenntartva © 2025, www.gyakorikerdesek.hu
GYIK | Szabályzat | Jogi nyilatkozat | Adatvédelem | Cookie beállítások | WebMinute Kft. | Facebook | Kapcsolat: info(kukac)gyakorikerdesek.hu

A weboldalon megjelenő anyagok nem minősülnek szerkesztői tartalomnak, előzetes ellenőrzésen nem esnek át, az üzemeltető véleményét nem tükrözik.
Ha kifogással szeretne élni valamely tartalommal kapcsolatban, kérjük jelezze e-mailes elérhetőségünkön!