AIS-22 / UNI-AIS-BiometricSystems

1 stars 0 forks source link

Hypothesis from the Results #18

Open m-langer opened 9 months ago

m-langer commented 9 months ago

Trained IDIAP evaluate PLUS

evaluate samplesize 72 pro klasse

Trained: genuine + spoofed

Kein Fingerabdruck lernbar nicht wirkliche aussagen aus der Confusion matrix Kein muster, keine synthetic spoofed identifizierbar

Trained: genuine + synthetic_cycle

Tendenz das nur genuine erkannt wird 10 - 30% der spoofed werden als spoofed erkannt bis auf 2 ausnahmen: Evaluate mit dritt -> 100% genuine

Trained: genuine + synthetic_distance

Eher falsch herum erkannt -> mehr true negatives + false postives >>> true positives + false negatives

Trained: genuine + synthetic_drit

Tendenz das nur als spoofed erkannt, extremst bei dritt und stargan drit und stargan werden eher als spoofed klassifiziert (90%+). DIe genuine werden dort eher als spoofed erkannt korrekte spoofed erkennung bei den beiden 90%+

Trained: genuine + synthetic_stargan

eher die genuine werden erkannt und als genuine markiert bei stargan auf stargan werden auch einige spoofed richtig erkannt scheint so als ob stargan auf stargan am besten funktioniert + maybe erkennbarere fingerprints?

Trained IDIAP evaluate PROTECT

evaluate samplesize 10 pro klasse

Trained: genuine + spoofed

100% genuine

Trained: genuine + synthetic_cycle

100% genuine

Trained: genuine + synthetic_distance

100% genuine

Trained: genuine + synthetic_drit

100% spoofed

Trained: genuine + synthetic_stargan

100% genuine

Trained IDIAP evaluate SCUT

evaluate samplesize 80 pro klasse

Trained: genuine + spoofed

99% richtige erkennung der spoofed gegen scut distance bei den anderen eher als genuine erkannt

Trained: genuine + synthetic_cycle

100% genuine

Trained: genuine + synthetic_distance

99% richtige erkennung der spoofed gegen scut distance bei den anderen eher als genuine erkannt

Trained: genuine + synthetic_drit

kein einziger genuine als genuine erkannt mehrheit als spoofed erkannt

Trained: genuine + synthetic_stargan

100% genuine

Trained PLUS evaluate IDAP

evaluate samplesize 72 pro klasse

Trained: genuine + spoofed

wild mess, mainly genuine

Trained: genuine + synthetic_cycle

mainly genuine with some wild mess cycle03 haupstächlich genuine cycle04 all over the place, basically raten ca 25% each

Trained: genuine + synthetic_distance

90%+ genuine

Trained: genuine + synthetic_drit

90%+ genuine except drit vs drit da zu 80% richtig erkannt

Trained: genuine + synthetic_stargan

mainly genuine, except stargan vs dritt da zu 90% richtig erkannt (besser als drit vs drit) stargan mit stagan 90% genuine

Trained PLUS evaluate PROTECT

evaluate samplesize 10 pro klasse

Trained: genuine + spoofed

100% spoofed

Trained: genuine + synthetic_cycle

100% spoofed except 1 correctly classified as genuine

Trained: genuine + synthetic_distance

all over the place so gut wie keine spoofed als spoofed erkannt, außer distance04 vs distance10 und distance03 vs stargan

Trained: genuine + synthetic_drit

mainly spoofed drit03 vs distance10 all over the place drit04 vs stargan110 all over the place

Trained: genuine + synthetic_stargan

stargan04 alles spoofed stargan03 pretty good?

Trained PLUS evaluate SCUT

evaluate samplesize 80 pro klasse

Trained: genuine + spoofed

mainly genuine 90%+

Trained: genuine + synthetic_cycle

cycle03 100% genuine cycle04 mainly verkehrt herum, sonst all over the place

Trained: genuine + synthetic_distance

100% genuine

Trained: genuine + synthetic_drit

03: 99% genuine 04: paar genuine als spoofed sonst gleich wie oben

Trained: genuine + synthetic_stargan

99% genuine 04: 50/50 genuine als spoofed sonst gleich wie oben

Trained PROTECT evaluate IDAP

evaluate samplesize 80 pro klasse looks like beziehung zwischen cycle und drit

Trained: genuine + spoofed

hauptsächlich spoofed mit 20-30% korrekter genuine

Trained: genuine + synthetic_cycle

10: 100% spoofed außer vs cyclegan und drit(nicht ganz so stark) -> paar spoofed als genuine 110: 80% korrekte identifikation außer vs cycle und dritt da sind spoofed 50/50

Trained: genuine + synthetic_distance

mainly spoofed, kaum spoofed die als genuine erkannt werden

Trained: genuine + synthetic_drit

mainly genuine,

Trained: genuine + synthetic_stargan

99% genuine außer bei distance,drit und stargan bei den 3 werden genuine 100% erkannt, aber bei spoofed eher als genuine als spoofed erkannt

Trained PROTECT evaluate PLUS

evaluate samplesize 72 pro klasse

Trained: genuine + spoofed

looks pretty good 85%+ accuracy

Trained: genuine + synthetic_cycle

10: 99% spoofed except 110: pretty pretty good 90%+ accuracy

Trained: genuine + synthetic_distance

mainly correct: spoofed 100%, genuine 60-70% accuracy

Trained: genuine + synthetic_drit

mainly all genuine except drit vs drit: da sind genuine 95%+ accuracy und spoofed around 60% accuracy

Trained: genuine + synthetic_stargan

100% genuine except vs distance, drit da 100% accuracy vs stargan 100% genuine accuracy und 90% spoofed accuracy

Trained PROTECT evaluate SCUT

evaluate samplesize 72 pro klasse

Trained: genuine + spoofed

meinly spoofed with some genuines

Trained: genuine + synthetic_cycle

10: 100% spoofed 110: all over the place, basically mit raten biste besser dran

Trained: genuine + synthetic_distance

eher spoofed, some genuine als genuine except drit: all over da place

Trained: genuine + synthetic_drit

all over da place mit tendenz das spoofed als genuine erkannt werden

Trained: genuine + synthetic_stargan

10: 100% genuine 110: all over the place mit tendenz das eher alles als genuine erkannt wird

Trained SCUT evaluate IDAP

evaluate samplesize 80 pro klasse

Trained: genuine + spoofed

95%+ accuracy except vs drit und stargan drit: alles genuine stargan: genuyine 95% accuracy, spoofed 75% accuracy

Trained: genuine + synthetic_cycle

07: mainly spoofed 08: mainly genuine

Trained: genuine + synthetic_distance

07: 100% genuine 08: genuine 100% accuracy, spoofed 75% big exception: vs drit .. da alles 100% genuyine

Trained: genuine + synthetic_drit

07: 100% spoofed 08: 100% spoofed except cycle da spoofed schlechter

Trained: genuine + synthetic_stargan

all over the place, eher verklehrt herum als richtig 07 eher geht noch, 08 is zu 90% verdreht

Trained SCUT evaluate PLUS

evaluate samplesize 66 pro klasse

Trained: genuine + spoofed

generellt gut außer drit und stargan drit: spoofed als genuine stargan03 is einfach nur geraten stargab04 is 70% accurate

Trained: genuine + synthetic_cycle

07: accuracy 10%? super gut verkehrt herum 08: alle spoofed als genuine und 60% der genuine als spoofed

Trained: genuine + synthetic_distance

07: 100% genuine 08: mainly verkehrt herum

Trained: genuine + synthetic_drit

100% spoofed

Trained: genuine + synthetic_stargan

hauptsächlich verkehrt herum

Trained SCUT evaluate PROTECT

evaluate samplesize 10 pro klasse

Trained: genuine + spoofed

95% genuine

Trained: genuine + synthetic_cycle

07: mainly genuine oder reines gerate 08: 100% genuine

Trained: genuine + synthetic_distance

100% genuine

Trained: genuine + synthetic_drit

100% spoofed

Trained: genuine + synthetic_stargan

100% genuine