Veremtúlcsordulás? Miért?

A tünet alapján az biztos, hogy a rekurziónál a kilépési feltétel valahol nem stimmel.

Anélkül, hogy hosszasan elemezném és átlátnám a C kódodat csak annyit tanácsolnék, hogy irass ki fájlba vagy a konzolra jó sok debug információt, hogy lásd, milyen paraméterekkel hívódott meg a floodfill(). (Esetleg soronkénti végrehajtással debuggolás..)

Nincs megállási feltétele a rekurziódnak. Soha nem áll le. Rakj be az elejére egy olyasmit, hogy

if (tomb[xl][yl] == atomb[xl][yl]+'0')

{ return; }

Ez így kicsit sok most nekem is hajnali 1kor, de megerősítem amit első mondott, garantáltan az egyik feltételnél lesz a hiba.

Ess neki pár kiirtással, hogy megtaláld, hol indexeled félre a tömböt.

(Vagy jobb lenne egy rendes debuggerrel nekimenni, de a kiíratás gyorsabb lesz.)