Milyen nyelven és milyen hardverrel érdemes megcsinálni ezt a feladatot, hogy a leggyorsabb legyen?

1. Egy kis problémát látok a feltételek elején:

"A végcél az, hogy ebben a 10 000 db-os alkönyvtárban szétválassza a képeket alkönyvtárakba."

Ez ugye a "B" alkönyvtár lenne, ez rendben van, ezt szeretnéd rendezni (1,2,3,4,5,6,7,8,9,....) al-alkönyvtárakra.

"1-es alkönyvtárba azt, ami nem szerepel a B alkönyvtárba"

Nem inkább az "A" alkönyvtárban (az ezer képet tartalmazó) való szereplést vizsgálnád?

2. Önmagában - ha a feladatot ritkán kell elvégezni - ez egy szimpla shell-/batch-szkript (tényleg: ez milyen környezetben történne? Linux? Windows? MacOSX?) feladat:

a. létre kell hozni - ha még nem lennének - a "B" alkönyvtáron belül az al-alkönyvtárakat

b. fogni kell az "A" alkönyvtár képállományainak (adott kiterjesztésű állományok) listáját és eltárolni egy tömbben

c. fogni kell a "B" alkönyvtár (rekurzió nélkül, az al-alkönyvtárak kihagyásával) képállományainak (adott kiterjesztésű állományok) listáját és végigiterálni rajta

* ha az aktuális elem nem szerepel az "A" alkönyvtár állományai között (szóval nem szerepel a b. pontban létrehozott tömbben), akkor le kell ellenőrizni az adott állomány nevét (szerepel-e benne adott betű - ez egy szimpla reguláris kifejezés-kiértékeléssel eldönthető) vagy hogy adott kiterjesztéssel rendelkezik-e, majd az ellenőrzés eredményeképp át kell helyezni az adott al-alkönyvtárba

3. A gondot a képek összehasonlítása okozza.

Kérdés az, hogy lehet-e különbség a kép irányában (szóval van egy kép egy akármiről, amit elforgatok az óramutató járásával megegyező irányban 90 fokkal, akkor az ugyanaz a kép-e), méretében, tömörítettségében/minőségében.

Ha lehet, akkor az állomány szimpla (MD5, SHA,...) ellenőrzőösszeg-képzésével megoldható a probléma.

Ha nem, akkor a kép tartalmát kell vizsgálni és abból ellenőrző-összeget generálni:

[link]

Mindez beilleszthető az előző pontban említett parancssoros szkript c. pontjába (csak az ellenőrzőösszeg-képzéshez kell egy parancssoros alkalmazás):

a. Az iteráció előtt létre kell hozni egy tömböt - ez fogja tárolni az áthelyezett képek ellenőrzőösszegeit és az áthelyezésre szánt al-alkönyvtárak neveit

b. Képezni kell a "B" alkönyvtár adott képének ellenőrzőösszegét és az áthelyezésre szánt al-alkönyvtár nevét. Ha ezek megtalálhatóak az előző pontban található tömbben, akkor a kép már át lett helyezve, nem mozgatjuk. Ha nem található meg, akkor átmozgathatjuk, de eltároljuk a kép ellenőrzőösszegét és az al-alkönyvtár nevét az előző pontban található tömbbe.

4. Ha a képek gyakran frissítődnek, akkor már valami összetettebb program kell: az előző pontban említett tömböket valamilyen adatbázisba rakni (abban gyorsabb keresni, mint a fájlrendszert adott időnként újra és újra végigellenőrizni); illetve erre valami daemon-t kreálni, ami folyamatosan figyeli a "B" alkönyvtárba kerülő új állományokat.

Ha 10 napig futott, akkor ez az algoritmus hibája, nem a hardveré. Számolj minden képre hash-t (nem az eredeti fájl bájtjaira, hanem a kitömörített pixlekekre, ha ez a feltétel) Utána baromi gyors az összehasonlítás, nem lehet gond fél millió kép, mivel ez kb 10 megabájt.

Persze ha a hash egyezik, akkor utána célszerű öszsehasonlítani a képeket is, mert nagyon nagyon nagyon kis valószínűséggel akár lehet is ütközés (de nem lesz), de ez egyetlen összehasonlítás, ha jól értem a feladatot. Ha van találat, akkor nem kell tovább menni. A "nem egyező" képek hamar kiesnek a hash különbség miatt.

Szóval vehetsz erős hardvert, de minek, mikor ez egy könynen megoldható feladat? Oké, fizetni kell egy programozót, aki leprogramozza neked pár nap alatt.

"m.2-re gondolsz?"

m.2-re pl... de abból is van SATA... szóval nem m.2 SATA, hanem m.2 nvme... Az m.2 csak a fizikai csatlakozó méret.

Nem azért, de ha csak fájlnév és a kiterjesztés szerint kell szétválogatni a képeket, akkor ez egy egyszerű másolás.

A duplikátumok kiszűrése egy hash vizsgálat.

Ebben semmi olyat nem látok, amiért elő kellene venni a visual studiot vagy akármilyen fejlesztőkörnyezetet. Ez tipikus scriptnek való feladat. Azt sajnálom csak, hogy Windows-t írtál környezetnek.