Mit kell tanulni azért, hogy ilyen programokat tudjak írni?
Leginkább olyan programokra van szükségem ami egy, (vagy több) weboldalakat átnéz és kigyűjti az információkat nekem.
Példa: Ha van egy tömb, aminek a neve X. 2 értéke van. Van egy Y és egy Z.
Nekem az a lényeg, hogy a tömb(X)nek az értékein keresztül rá tudjak szűrni az abszolút legmagasabbra és a legalacsonyabb értékre(Y,Z). Ez után az érték az egy táblázatban megjelenjen.
Ezt egy API-n keresztül tudnám megcsinálni. Esetleg egy exportált fájlon keresztül(csv).
válasza:jaja, web scraping + valami alap algoritmusok és adatszerkezetek kell neked.
Ha van valami web API-ja a weboldalnak, amiröl az adatokat gyüjtöd, akkor azt kéne kiderítened, hogyan tudsz http requesteket csinálni, ha nincs API, akkor esetleg Seleniumot nézd meg.
válasza:Python és Beautiful Soup/Selenium + xpathot ajánlom használni selectornak.
Viszont ez nem lesz majd annyira egyszerű feladat, mint aminek elsőnek hangzik. Egyrészt vannak weboldalak amik letiltanak bizonyos mennyiségű request után, másrészt mindenhol más a weboldal felépítése, így vagy írsz egy általános scrapert (felejtds el) vagy minden weboldalra specifikusan egyet.
De ez is csak ideiglenes megoldás, mert ha frissítik a weboldal kódját, akkor megint lehet újra kell írnod benne részleteket.
Kapcsolódó kérdések:
Minden jog fenntartva © 2024, www.gyakorikerdesek.hu
GYIK | Szabályzat | Jogi nyilatkozat | Adatvédelem | Cookie beállítások | WebMinute Kft. | Facebook | Kapcsolat: info(kukac)gyakorikerdesek.hu
Ha kifogással szeretne élni valamely tartalommal kapcsolatban, kérjük jelezze e-mailes elérhetőségünkön!