Weboldalról adatok kinyerése?
Figyelt kérdés
Arra van valamilyen technológia, hogy egy weboldalról adatokat tudjunk kinyerni? Van egy táblázat, amiről szeretném tudni ha változik. Úgyhogy valami olyan megoldásra gondolnék, ami beállított időközönként le tudná kérdezni a táblázatot ha megadom az oldal url-jét, és pl rávizsgálnék, hogy legutóbb 100 sor volt, most pedig ha több, akkor küldjön nekem egy emailt mondjuk.2022. nov. 23. 10:29
1/3 anonim válasza:
Ezt nevezik "web gereblyézésnek" (web scraping).
Ennek két része van: a weboldal kliensoldali kódjának "letöltése" és ezen kód kiértékelése.
Függően az adott nyelvtől ezekre sok lehetőség kinálkozik - példának okáért, a teljesség igénye nélkül:
* Szerveroldali Javascript (nodeJS) alatt letöltéshez ott a httpvagy a https, a request, az axios, a needle, a got, vagy a node-libcurl; kiértékeléshez pedig a jsdom, a htmlparser vagy a cheerio modulok
* Python alatt letöltéshez ott az urllib, a request, a pycurl; kiértékeléshez ott a beautifulsoup vagy a scrapy
vagy többnyelvű, integrált (letöltés+kiértékelés) megoldásnak ott a Selenium Webdriver.
2/3 anonim válasza:
#2 akárhány fiókot szarsz ide, úgyis másfél pipás maradsz.
3/3 anonim válasza:
"Arra van valamilyen technológia, hogy egy weboldalról adatokat tudjunk kinyerni?"
Van.
Kapcsolódó kérdések:
Minden jog fenntartva © 2025, www.gyakorikerdesek.hu
GYIK | Szabályzat | Jogi nyilatkozat | Adatvédelem | Cookie beállítások | WebMinute Kft. | Facebook | Kapcsolat: info(kukac)gyakorikerdesek.hu
A weboldalon megjelenő anyagok nem minősülnek szerkesztői tartalomnak, előzetes ellenőrzésen nem esnek át, az üzemeltető véleményét nem tükrözik.
Ha kifogással szeretne élni valamely tartalommal kapcsolatban, kérjük jelezze e-mailes elérhetőségünkön!
Ha kifogással szeretne élni valamely tartalommal kapcsolatban, kérjük jelezze e-mailes elérhetőségünkön!