Hol, milyen cégeknél foglalkoznak adatelemzéssel?

#11 Figyelj ez mind szép és jó hogy ilyeneket "tanultatok" de a való életben ezeket tudod alkalmazni egy felmerülő problémára? Nem úgy néz ki egy data analyst napja hogy reggel 8-tól délután 16:30-ig T és F-próbákat hajt végre, hanem kap egy elemzéssel kapcsolatos feladatot amihez alkalmaznia kell tudni a különféle regressziós modelleket, statisztikai próbákat stb...

Tegyük fel dolgozol egy meteorológiai projekten, az a kérdés hogy vajon jövőre hány centit fog olvadni a jégtakaró az északi-sarkon. Ehhez van egy több mérésből álló adatsorod, pl: elmúlt 50 év jégtakaró vastagsága, hőmérséklete, napsugárzása, szélviszonya, CO2 emisszió, családi pótlék mértéke Magyarországon, amiből ki kell választanod azokat a paramétereket ami szerinted releváns a kérdés megválaszolásához. Ehhez kell a domain-specifikus (feature-engineering) tudás pl: nyilván a számítási modelledbe nem fogod belevenni a családi pótlék alakulását Magyarországon, mert vélhetően semmi hatása nincs arra, hogy milyen vastag a jégpáncél, viszont az átlaghőmérséklet, napsugárzás stb... hatással van rá. Így ezeknek megnézed az elmúlt évek változásait, korrelációt számolsz, regressziós görbéket illesztesz, trendet elemzel stb... és felhasználod az általad említett statisztikai elemzési módszereket az adott kérdéskör vizsgálatához, hogy valami eredményt ki tudj mutatni ezek alkalmazásával. Nyilván a való életben nem 10 darab mérési pontod van mint amit egy statisztikai gyakorlaton csinálsz, hanem több millió / milliárdos nagyságrendű, amiben előfordulhatnak mérési hibák, null értékek, amiket kezelni kell interpolációval vagy egyéb más módon (feladattól függ). Neked azért kell készség szinten érteni a programozáshoz, mert a különböző statisztikai számítási modelleket tudnod kell alkalmazni egy nagy mennyiségű adathalmazra, amit vizsgálni akarsz. Végső soron pedig vizualizálni kell tudni az eredményt, hogy az egy kívülálló számára is érthető legyen, mert ha csak feltünteted, hogy a korrelációs együttható a 850mb hőmérséklet érték és jégsapka vastagság között -0,8327373 az a laikusok számára nem biztos hogy érthető. Ezért sokkal jobb ha vizuálisan mutatod pl: grafikonon, hogy hú emelkedik az átlaghőmérséklet és jé csökken a jégtakaró vastagsága évről évre.

A legtöbb multiban hasonló az elvárás egy data anylst pozival kapcsolatban, csak általában különböző üzleti kérdésekre keresik a választ, de a statisztikai eszközök és a programozás az elvárás. Viszont teljesen jól említette az előző hozzászóló, hogy valahol valóban "data analyst" pozíció kimerül annyiban, hogy sima SQL queryket írkál az ember, nyilván ott is el lehet lébecolni de egy idő után monoton és unalmas és nem fejlődsz tovább...

Egyébként a nívósabb helyeken nagyjából úgy néz ki röviden egy data analyst feladata, hogy: beérkezik az üzleti igény, elkezded megismerni az adatokat, majd tisztítani, alkalmazod az adatokra a matematikai modelleket, vizualizálod/kiértékeled az eredményeket, nagyjából lefordítod érhető nyelvre, hogy az üzleti oldal is meg tudja érteni az eredményeket (ők nem a technikai részletekre kíváncsiak, hanem domain-specifikus részekre, épp ezéet fontos a domain-specifikus tudás is nem csak a technikai).