Honnan tudjuk, hogy valami az ősmagyar korban alakult ki, ha az még nyelvemléktelen korszak volt?

Nem "tudják", hanem feltételezik. Ezek elméletek, hipotézisek, aztán vagy bejött, vagy nem.

A rokon és a magyarral kapcsolatba került nyelvekből. Pl.: ha egy nyelvtani elem megvan a magyarban és az obi-ugorban, de nincs meg a finn-permi nyelvekben (ide tartozik pl. az észt és a finn is), akkor tudhatjuk, hogy az ugor korban alakult ki, amikor még a magyarok ősei együtt éltek hantik és a manysik őseivel. Ugyanígy, ha van egy elem a magyarban, ami hiányzik az obi-ugor nyelvekből, de megfigyelhető mondjuk a csuvasban (török nyelvcsalád), vagy az oszétban (iráni nyelvcsalád, a szarmata nyelv mai napig fentmaradat leszármazottja), akkor abból kikövetkeztethető, hogy más az előmagyar/ősmagyar periódusban került a nyelvbe/alakult ki, amikor elszakadtunk a nyelvrokonainktól. Ezeknél a vizsgálatoknál a szavak hasonlósága nem sokat nyom a latba (a szókincs változik a leggyorsabban), hanem a nyelvtani eltéréseket, hasonlóságokat vizsgálják.

Kb ahogy #2 -is írja az egyes szavak a rokonértelmű szavak és hasonló jelentésű szavak előfordulását is viszgálják más nyelvekben. Illetve a nyelvtani megoldások megjelenését is más nyelvekben.