Mi a különbség a data analyst, data engeneer és a data scientist között?

"röviden és érthetően le tudnátok-e írni"

Persze, íme egy lehetséges értelmezése a data analyst, data engineer és data scientist pozícióknak.

Data Analyst: excelbszogató, alacsony tudású közgazdászok vagy valami gazdasági szakot végzettek főleg akik nem értenek az informatikához magas szinten. Dashboardokat vagy grafikonokat készítenek adatokra egyébként dögunalmas meló és a többihez képest a bér is jóval alacsonyabb.

Data Scientist: komolyabb szinten elemzik elméletileg az adatokat statisztikai modellekkel, eredetileg a statisztika és az informatika keveréke volt ez a szak ahol magas szintű matematikai és mesterséges intelligencia modellekkel próbáltak összefüggéseket és becsléseket adni egy adathalmazra. Manapság 10-ből kb. 8 cég félredefiniálja a data scientist pozit és simán lehet hogy már egy excel táblázatos átlagszámításos melóra rámondják hogy "húúú data scientist!". Vannak cégek akik mindenféle szerencsétlent felvesznek aki valaha dolgozott adatokkal pl: szociológus, biológus, fizikus

Data Engineer: ez még megmaradt paceknak, valódi informatikusok és programozó félistenek végzik mert a több billiárd sornyi adatot be kell hozni a forrásrendszerből és költségkímélően tárolni. Ehhez kell a legnagyobb programozói tudás mert hatalmas adatokat kell kezelni különféle rendszerekkel, felhőben tárolni stb... az automatizáció hatására ezekre van a legnagyobb szükség manapság, pedig régen a data scientist volt a menő de az lecsúszott ahogy elterjedt a felhő, auto ML keretrendszerek, autodashboardok stb...

A data scientist ("adattudós") voltaképpen egy programozó statisztikus, aki [jó esetben nagy tömegű] adatot elemez, azokra ír tanuló algoritmusokat, illetve adatelemzésen alapuló szoftvereket vagy legalábbis azoknak egy részét készíti. (Közérthetőbb, de parasztvakításosabb nyelven szólva mesterséges intelligencia-alapú megoldásokat készít.)

Amiket pl. én csinálok:

- Az ügyfél ad egy mintát az adataiból és nagyjából elmondja, hogy mit szeretne (ez többnyire valamilyen nagyon ködös elképzelés), ezek ilyenek, mint hogy: "szeretnék egy olyan algoritmust, amely megjósolja, hogy hogyan alakul a bevétel / termés / ár / ... / ..."

- Az adatmintát "szétszedjük", felfedezzük, ebből kialakul egy kép, hogy nagyjából mire van lehetőség

- Az ügyféllel közösen kitaláljuk, hogy mit és hogyan lehetne megvalósítani abból, amit szeretne

- Elkezdjük az adatait mélyebben elemezni. Az adatokon belül összefüggéseket tárunk fel – sok esetben az ügyfél már itt ledöbben, hogy ezt nem is gondolta volna [nagyon meglepő, az emberek mennyire nem ismerik a saját adataikat, illetve ha soha nem elemezték, mi minden fölött siklottak el]

- ... eközben igazából adatot tisztítunk (pl. kitöltjük a hiányzó adatokat valamilyen módszerrel), nagyon szép grafikonokat készítünk (de ne ilyen egyszerű tortadiagramra gondolj, hanem gyönyörű vizualizácókra mint pl. [link] vagy [link] hozzá magyarázó szöveget írunk stb.

- Elkezdünk adatot modellezni. Az adatmodellezés során különböző gépi tanulásos (machine learning azaz ML) modelleket próbálgatunk rá az adatokra, ezek maguk a "jósló" algoritmusok

- Mi többnyire interaktív dashboardokat készítünk, ezek böngészőben futó interaktív honlapok, mint pl. [link]

- Ha készen vannak az adatmodellek, akkor ezekből profi un. pipeline-okat készítünk (ezek programok amelyeken az adat "végigfut", ezek hozzáférnek az ügyfél rendszereihez, lekérik az adatokat, végigfuttatják az adattisztító algoritmusokon, utána a modelleken [jósolnak], a végeredményt meg vagy elküldik a dashboardra, vagy adattárházba / adatbázisba mentik, az ügyfél hozzáférhet más rendszerekből (un. API-kon keresztül) stb.

A data scientistek feladatai kb. tehát az ügyfelekkel való tárgyalás, üzleti problémák megértése, adatok megismerése, feltérképezése, adattisztítás, adatmodellezés, programozás, vizualizációk és prezentációk készítése, dashboardok vagy APIk vagy más megoldások programozása és a megoldás üzembe helyezése.

A Data Scientistek tevékenységeinek egy részét az un. Machine Learning Engineerek végzik, ez a kettő keveredő fogalom. Amerikában inkább MLE-k dolgoznak, Európában mi data scientistek vagyunk a MLE-k is. Illetve maguk a Data Scientistek is specializálódnak, van aki csak adatokat turkálni és adatmodellezni szeret, van aki programozni, van, aki üzleti problémákat megoldani és ügyfelekkel tárgyalni. Nagyobb csapatokban van lehetőség "helyezkedni".

A data scientistek munkáját segítik a data engineerek, akik igazából az adat alapú megoldások üzemeltetői ("rendszergazdái")... ők felelősek az infrastruktúráért, adatbázisok üzemeltetéséért, de nálunk pl. beleszólnak a data scientistek kódjaiba is (a hajukat tépve, mert a data engineerink általában informatikusok, a data scientistjeink meg matematikusok / statisztikusok, nem mindig a legjobb programozók).

Végül, hogy miket készítenek az adattudósok? Pár ismertebb példa:

- a netflix, hbo app ajánlórendszereit

- a Tesla önvezető algoritmusát

- a Gmail stb. spam filterét

- az orvosi műszerek rákfelismerő algoritmusait

- az Apple Watch stb. health algoritmusait (pl. alvásmonitor stb.)

- a biztosító társaságoknál a hitelbírálatot

- befektetési bankoknál a részvényekkel kereskedő algoritmusokat

stb. stb. Hamarosan mindent átszőnek az ilyen típusú megoldások, az egész nagyon gyerekcipőben jár még, és éppen ezért aranybánya. Iszonyú sokat lehet vele keresni, az informatikus fizetések felső harmadánál kezdődnek a data scientist fizetések.

Sokféle módon lehet valaki data scientist, Magyarországon pl. (pár tipp):

- Matek alapszak + alk. matek mesterszak

- Matek alapszak + biztosítási matek mesterszak

- Fizikus alap- és talán mesterszak, vagy alk. matek vagy biztosítási matek mesterszak

- Programtervező informatikus alapszak + elte data science mesterszak (csak angolul van) vagy valami data science mesterszak külföldön

- Corvinus vagy PTE Gazdaság- és pénzügymatematikus osztatlan szak (GPME)

- Corvinus alk. közgazdaságtan alapszak + SCM képzés + pl. biztosítási matek vagy elte survey statisztika és adatanalitika mesterszak

- Villamosmérnök vagy mérnökinformatikus alapszak + megintcsak valami célirányú mesterszak itthon vagy külföldön

- Pénzügy-számvitel vagy marketing alapszak + elte survey statisztika mesterszak

- Szociológia alapszak + elte survey statisztika mesterszak

- Biológus alapszak + biostatisztika vagy bioinformatika mesterszak külföldön

A biológia és szociológia alapszakok elsőre furcsának hangzanak, pedig ők ülnek nagytömegű valódi adatokon rögtön az első évtől kezdve, ők tanulnak kutatási módszertant és adatprogramozást is, és sokan lesznek közülük data scientistek.

A fizikus is furának tűnhet, pedig az egyik legjobb képzettség ehhez, mivel iszonyúan jók matekból és statisztikából és tudnak programozni is Pythonban és C++-ban.

A fentiek mindegyike kb. ugyanolyan jó, de a legjobb szerintem egy alk. matek alap- és talán mesterszak + valami data science mesterszak külföldön.

#2 oszt az kit érdekel hogy te mit csinálsz? az volt a kérdés hogy mi a különbség a data analyst, data scientist és data engineer között nem az hogy írj egy novellát a data scienceről.

jó hogy az önéletrajzodat nem mellékeled.

egyébként erősen kétlem hogy te bármilyen értelmes konklúziót le tudnál vonni az ügyfeleid adataiból ha egy egyszerű kérdést képtelen vagy értelmezni és feleslegesen ideokádsz egy regényt

elsö hozzászóló amugy jól összefoglalta kb ez a lényege arra dobtam a zöld kezet erre a felesleges szópazarlásra pedig durrant a diszlájk

3. Már megint te vagy? (¬_¬ )

"oszt az kit érdekel hogy te mit csinálsz?"

Gondolom a Kérdezőt például érdekli, hogy mit csinál egy valós szakember egy valós munkahelyen, ezért írtam le neki.

"egyébként erősen kétlem hogy te bármilyen értelmes konklúziót le tudnál vonni az ügyfeleid adataiból"

Igen, ezért nem vagy data scientist, csak maximum valamilyen low-end kóder vagy un. "data engineer" (azaz rendszeradminisztrátor).

"elsö hozzászóló amugy jól összefoglalta kb ez a lényege arra dobtam a zöld kezet"

Igen, mivel az első hozzászóló is te vagy, csak annyira hülye vagy, hogy még erre se jössz rá, hogy mindenki látja, hogy a data topikok alá te vagy az egyik értetlen, aki ideböfögi az arrogáns, pofátlan megjegyzéseit.

De akkor reagálok a korábbi agymenésedre is.

1. "Data Engineer: ez még megmaradt paceknak, valódi informatikusok és programozó félistenek végzik mert a több billiárd sornyi adatot be kell hozni a forrásrendszerből és költségkímélően tárolni. Ehhez kell a legnagyobb programozói tudás mert hatalmas adatokat kell kezelni különféle rendszerekkel, felhőben tárolni stb..."

Na ezt olyan valaki írta, aki jelenleg a Gábor Dénesen az első évfolyamon bukdácsol és éppen UV-re készül.. a data engineerek nem "programozó félistenek" 🤣🤣🤣, hanem rendszeradnminisztrátorok. Először is a magyarban nincs billiárd, az egy táblás játéknak a neve. Milliárd van és billió. Na de suhanjunk el eme apróság előtt. A data engineerek nem hoznak be semmilyen "több billiárd sornyi adatot" semmilyen forrásrendszerből, max. ha megkérem őket, mert nincs kedvem ezzel cseszekedni, hogy állítsák be nekem a tűzfalakat és esetleg írjanak egy batch scriptet, ami lehúzza az adatokat. De a "több billiárd" (hozzáértők kedvéért: milliárd) adatot a data scientistek olvassák be, tisztítják meg és modellezik, sőt nálunk a data scientistek írnak belőlük webalkalmazást vagy API-t is (ezért is írtam le a 2. hozzászólásban, hogy mivel fogalalkozom).

Amit a data engineerek csinálnak: infrastruktúra konfiguráció és rendszeradminisztráció. Nem kell hozzá semmiféle "félisten", ez csak egy munka, amit meg kell tanulni és csinálni kell. A data engineereink biztosítják a számunkra, data scientistek számára a környezetet, amiben dolgozunk. (Így volt ez mindig is, amikor még Java programozó voltam, akkor még nem data engineernek hívták, hanem rendszeroperátornak, ők konfigurálták a tűzfalakat, a cloud szolgáltatásokat, sőt még az adatbázis- és applikációszervereket is. De az alkalmazást a programozók írták már akkor is, most meg a data scientistek.)

Az 1-es hozzászólásban ócsárlod azokat, akik VALÓBAN adatelemzést tanulnak az egyetemen (szociológusok, matematikus közgazdászok, biostatisztikusok stb.). Ezen csak nevetni tudok, mert ezzel elárultad magad, hogy nem dolgozol adatokkal és fogalmad sincs az egészről. Az informatikusok nem nagyon rúgnak labdába a data science területén. Tisztelet a kivételnek, de a többségük nem tanul hozzá elég statisztikát, és teljesen más típusú programozást tanulnak, mint amit pl. a szociológusok tanulnak (haladó többváltozós statisztika, R nyelv stb.).

Nálunk a kb. 40 fős egységben csak 1-2 informatikus dolgozik, ők is csak data engineerként, mivel az informatikusok nem tudják megoldani a data scientistek felvételi feladatait. A data scientistek nálunk közgazdászok, matematikusok, statisztikusok és van fizikus is. És van most már néhány célzottan ML/AI vagy data science végzettségű ember is (pl. én). Informatikus - egy sem. Nem véletlenül.