Programozás: szövegfájlok feldolgozására specializált tudással el lehet helyezkedni? (bővebben lent)
Olyan tudással lehet állást találni, ha valaki olyan programokat tud írni, amellyel szövegfájlok feldolgozását tudja segíteni, vagy - ha algoritmikusan meghatározható a sorrend - bizonyos feltételek szerint adatokat sorbarakni stb?
Ha van erre piaci igény, akkor milyen területen és milyen tudást érdemes ehhez elsajátítani?
válasza:Data Science-nek nézz utána!
De azért kicsit több az, mint amit leírtál.
Nagyon köszönöm a választ.
Olyan területet keresek, ahol hasznosítani lehet amit leírtam, vagy el lehet mélyíteni.
Ennek utánanézek köszönöm. Gondolom magábanfoglal mesterséges intelligenciát is az a tudomány amit írsz. Ill nem tudom "alterületei" vannak -e.
válasza:Adatok sorbarakásának képességét nem tartom kifejezetten erős skill-nek. :D
A szöveges file-ok feldolgozására már lehet építeni valamit... Egy ilyen projectben én is részt veszek: az Europe Pubmed Central (EuroPMC) tejes korpuszát feldolgozzuk (kb 40 millió bio-medikai közlemény xml formátumban). Némi baszkodás (sentencig, escaping) után azonosítani kell bennük betegség neveket, gén/fejérje neveket, molekula neveket (ez ML alapú folyamat, amire bioBERT-et használunk).
Ezeket a címkéket normalizálni kell, és meg kell vizsgálni az entitások kapcsolatát, azaz, milyen gének és betegségek között van okozati kapcsolat, a molekulák között mi gyógyszer, azokat milyen betegségre használják és azok milyen géneket-fehérjéket céloznak. Ez egy nagyon komplikált kérdés, és végül a Word2vec neurális háló alapú módszer mellett döntöttünk. A pipeline PySpark és Scala/Spark alapon íródott. (bezony, van Python is. :D)
Ezekben a szövegbányászati dolgokban többnyire nem az a lényeg, illetve nem az a nagy kunszt, hogy meg tudod-e oldani a feladatot, hanem az, hogy meg tudod-e oldani úgy a feladatot, hogy a 40 millió cikket a kódod nem százhúsz év alatt akarja feldolgozni, hanem mondjuk 1 nap vagy 1 hét alatt.
Általában egy erős adat integrációs skill jó alap, de vagy nagyon szuper statisztikai háttér kell hozzá (+ML) vagy nagyon mély ismeret az adott domain-en belül. Pl a fenti projecten ML expertek és PhDvel rendelkező biológusok dolgoznak. Ez egy hatalmas terület, anélkül, hogy jobban leszűkítenéd, hogy mi érdekel, nem nagyon lehet hasznos tanácsot adni.
válasza:#3 Válaszadó: a munkádhoz én is gratulálok, biztosan rendkívül precíz, széleskörű ismereteket igényel.
Én igazából folyamatos keresésben vagyok, hogy "milyen terület lenne megfelelő számomra", azt tudom, hogy ha találok megfelelőt és olyat, mely nekem való, beleásnám magam és elmélyíteném tudásomat.
Írjátok, hogy nehéz bármit mondani, konkrétumok nélkül. Én igazából a piaci igényeket nem tudom és melyek lennének azok a kulcsszavak, melyeket álláskereső portálokon használva elém tárulna az egész "adatfeldolgozási szakterület" (az adott állással kapcsolatos leírásból, követelményekből is sokat lehet tanulni)
Én sajnos csak azt tudom, hogy mi az, amit semmiképp nem szeretnék, de hogy mit igen, azt nem igazán. Erős matematikai területet nem szeretnék választani, sajnos sem a gráfok, sem a bináris fák nem érdekelnek és nem is értem őket, amikor kellett megtanultam, de azóta nem használtam. Gondolom: a neurális háló olyan bonyolult lehet, hogy én azt el se tudom képzelni.
Reménykedem, hogy nem mondjátok azt, hogy "a leírtak alapján add fel a keresést, nem neked való ez az egész".
Állásoknál mindenhol minimum 3-5 év gyakorlat stb a követelmény.
Ilyen ágazatban "szabadúszó vállalkozóként" lehet valamit tenni? Adatfeldolgozásra gondolok vállalkozóként, nem webfejlesztésre vagy hasonlóra.
válasza:"Gondolom: a neurális háló olyan bonyolult lehet, hogy én azt el se tudom képzelni."
Rosszul gondolod.
"sajnos sem a gráfok, sem a bináris fák nem érdekelnek és nem is értem őket, amikor kellett megtanultam, de azóta nem használtam."
Akkor nem érsz semmit.
válasza:Nem én vagyok az, aki a gombhoz keresi a kabátot, hanem te.
Komolyan mondom, a kérdéseden is csak zokogni lehet. Mégis, hogy gondolod? Amit te tudásnak vélsz, gondolsz, az nudli.
Ennél sokkal többre sincs piaci igény, nem hogy erre a semmire.
Nyugodtan megkeresheted annak okát, hogy miért okoz számodra kielégülést lelkileg az, ha egy ismeretlen emberbe - aki neked semmit sem ártott - belerúgsz, beletaposol, gúnyolódsz rajta ("a kérdéseden is csak zokogni lehet"), stb..
További szép hétvégét!
válasza:Nem kell keresni. Itt az ok:
" a válaszodból kitűnő egysíkú gondolkodás miatt biztosan számos nehézséged adódik az életben."
További kérdések:
Minden jog fenntartva © 2024, www.gyakorikerdesek.hu
GYIK | Szabályzat | Jogi nyilatkozat | Adatvédelem | Cookie beállítások | WebMinute Kft. | Facebook | Kapcsolat: info(kukac)gyakorikerdesek.hu
Ha kifogással szeretne élni valamely tartalommal kapcsolatban, kérjük jelezze e-mailes elérhetőségünkön!