Linuxban az ulimit parancs miért így viselkedik?

A virtuális memória a folyamat teljes felhasznált memóriájára vonatkozik mindennel együtt. Ha eléri a maximálisan lefoglalható memóriát (hard limit), a folyamatnak nincs módja többet foglalni. (hacsak nem root-ként idult, ahogy azt már felettem is írták)

A max memory size az RSS-re (resident set size) vonatkozik, ami gyakorlatilag azt mondja meg, hogy a fizikális memóriából mekkora rész jut a folyamatnak. Kisebb mérettel is el tud futni, mert amit használ betölti a fizikai memóriába, a többi megy a swap-be.

A "man setrlimit" viszont ezt dobja ki:

[...]

RLIMIT_RSS

Specifies the limit (in pages) of the process's resident set

(the number of virtual pages resident in RAM). This limit has

effect only in Linux 2.4.x, x < 30, and there affects only calls

to madvise(2) specifying MADV_WILLNEED.

[...]

Tehát a mostani kerneleken már nincs hatása.

ulimit eléggé outdated. Manapság a cgroups az etalon, és amit azzal beállítasz, tuti semmi sem lépi át.

[link]