Eddig mi volt a legnehezebb feladat amit rátok bíztak egy projecten belül?

Bioinformatikai project adatelemzős pipeline kiépítése nulláról, a nullának abban az értelmében, hogy kezdetben a teljes analízis definiálatlan, volt így a felépült pipeline-nak támogatnia kellett tucatnyi paraméter független optimalizálását. A folyamatban vagy egy féltucat különböző forrásból kellett adatokat integrálni és folyamatosan ellenőrizni azok konzisztenciáját. És optimalizálni kellett skálázhatóságra: a végső futtatás során nagyjából tíz millió statisztikai teszteket kellett elvégezni, de a kezdeti sebesség alapján prediktált hónapos futásidőt le tudtam rövidíteni néhány naposra. A kapott eredmények elemzéséhez ugyancsak cseles teszteket kellett kitalálni, amik felismerik azokat a futásokat, amik valami miatt elhasaltak, majd a hibaüzenetnek megfelelő változtatás után újraindítja a clusteren. Illetve a statisztikai szignifikáns eredményeket automatikusan továbbvizsgálja és interaktív vizualizáció készítésével segíti a eredmény értelmezését.

A Project nagyjából másfél évig tartott, 85-90%-ban az én munkám volt. Szerencsére már vége. :D