Mesterséges neuron hálónak mi a gradiense?

Minden kimeneti neuronnak van egy gradiense, és azt pont úgy definiálod, mint a hétköznapi függvények esetében, azaz a következő vektor:

(d_kimenet/d_bemenet1, d_kimenet/d_bemenet2, ..., d_kimenet/d_bemenetN)

Nyilván ezt közvetlenül nem tudod leolvasni, fel kell írnod a kimenet függvény hosszú alakját, dupla szummák, aktivációs függvények, és a többi. De te csak azt kérdezted, hogy mi a gradiens: a kimenet változása a bemenet változásának függvényében.

Amit nem írtam le, de fontos: ha a kimenet aktivációs függvénye nem differenciálható (pl. lépcsőfüggvény) akkor az aktiválási érték gradiensét szoktuk nézni.