Megtehető az, hogy egy weboldal üzemeltetője kijelenti, hogy tilos a webscraping az oldalukon?

"Illetve mennyire lehet törvényileg komolyan venni egy ilyen kijelentést?"

Eléggé.

Az oldal tulajdonosa határozza meg, hogy az ott elérhető adatokat mire használhatod (például megnézheted a tartalmat, de nem adhatod el).

Példának okáért kis hazánkban az "1999. évi LXXVI. törvény a szerzői jogról" ( [link] ) védi a "a gyűjteményes műnek minősülő adatbázisokat" is.

A másik dolog, hogy a web scrapinggel mennyire léped túl "jogosultságaid kereteit" vagy akadályozod az oldal működését (akár azzal is, hogy felesleges erőforrásokat - legyen az akár számítási kapacitás vagy adatforgalom - foglalsz le) - ezzel kapcsolatosan a "2012. évi C. törvény a Büntető Törvénykönyvről" ( [link] ) így fogalmaz:

"423. § (1) Aki információs rendszerbe az információs rendszer védelmét biztosító technikai intézkedés megsértésével vagy kijátszásával jogosulatlanul belép, vagy a belépési jogosultsága kereteit túllépve vagy azt megsértve bent marad, vétség miatt két évig terjedő szabadságvesztéssel büntetendő.

(2) Aki

a) az információs rendszer működését jogosulatlanul vagy jogosultsága kereteit megsértve akadályozza, vagy

b) információs rendszerben lévő adatot jogosulatlanul vagy jogosultsága kereteit megsértve megváltoztat, töröl vagy hozzáférhetetlenné tesz,

bűntett miatt három évig terjedő szabadságvesztéssel büntetendő."

Ez persze érvényes a külföldi oldalak esetében is - ott az ottani törvények a mérvadóak.

"Mi a helyzet ilyenkor mondjuk a keresőmotorokkal?"

A keresőmotrok esetében azért általában a keresőrobot azonosítja magát (User-Agent HTTP fejléc), van lehetőség szűrésre (robots.txt, <meta name="robots" content="noindex, nofollow>, illetve a keresőrobotok egy azonosítható IP-címtartományból/hosztnévről érkeznek), és azért ügyelnek arra, hogy ne okozzanak felesleges terhelést.