search

cvlab-ai / polish_banknotes

Czytnik Polskich Banknotów is a mobile app for detecting polish banknotes using neural networks
GNU General Public License v3.0
8 stars 2 forks source link

Podsumowanie szczegółowej zawartości danych - metadane #29

Closed qaziok closed 1 year ago

qaziok commented 1 year ago

Potrzebujemy podczas przeglądania danych zebrać informację na temat ( przynajmniej części testowej )

StanislawSm commented 1 year ago

Ja na przykład w moim folderze zbiorczym z 50-tkami nie zachowałem podziału na zbiory uczący, testowy i walidacyjny. Z tego co zrozumiałem to tak miało być. Jednak w treści tej issue jest odniesienie do tego podziału. Jak mam to rozumieć? Mam policzyć wszystkie (około 6000) zdjęcia, wydzielić samemu zbiór testowy, wydzielić zbiór testowy na podstawie tego z zeszłych lat, czy może jest jakieś inne rozwiązanie?

mikolajwirkijowski97 commented 1 year ago

Tak od siebie chciałbym zasugerować nie używanie podziału z zeszłych lat. accuracy na "valset" z 2020 idzie mi zawsze w parze z accuracy "datasetu" w związku z czym nie daje żadnej informacji na temat tego czy model jest przetrenowany i napawa fałszywy optymizmem. "testset" z moich obserwacji nie cierpi na ten problem.

Mamy teraz dane stworzone przez więcej osób z przestrzeni kilku lat więc łatwiej będzie podzielić to tak żeby model nie zaczynał sugerować się np. czyimiś dłońmi.

kjedrasz2137 commented 1 year ago

@mikolajwirkijowski97 Dobrze zauważone! Faktycznie, podział na "valset" i "dataset" może prowadzić do fałszywego optymizmu i nie dostarczyć wiarygodnych informacji na temat modelu. Lepiej jest używać "testset" do oceny modelu i sprawdzenia jego skuteczności. Co więcej, warto pamiętać o tym, że dane stworzone przez różne osoby mogą być różne, dlatego ważne jest, aby dobrze je przygotować i podzielić, aby uniknąć problemów związanych z przetrenowaniem modelu.

kjedrasz2137 commented 1 year ago

Banknot 10 zł:

  1. Ilość ~ 5600
  2. Oświetlenie Dobre ~ 4650 Złe ~ 910
  3. Jakość Poruszone ~ 1050 Wyraźne ~ 4550
  4. Lampa błyskowa ~ 490
  5. Zgięcie ~ 1960
  6. Strona Przód ~ 2460 Tył~ 2740
kjedrasz2137 commented 1 year ago

Banknot 20 zł:

  1. Ilość ~ 5250
  2. Oświetlenie Dobre ~ 4650 Złe ~ 550
  3. Jakość Poruszone ~ 1050 Wyraźne ~ 4150
  4. Lampa błyskowa ~ 600
  5. Zgięcie ~ 1500
  6. Strona Przód ~ 2050 Tył~ 1650
kjedrasz2137 commented 1 year ago

Banknot 200 zł:

  1. Ilość ~ 6100
  2. Oświetlenie Dobre ~ 5400 Złe ~ 700
  3. Jakość Poruszone ~ 1550 Wyraźne ~ 4350
  4. Lampa błyskowa ~ 700
  5. Zgięcie ~ 2500
  6. Strona Przód ~ 2900 Tył~ 2500
jachoo commented 1 year ago

Podsumowanie (wstępne):

Na przyszłość do treningów:

--->>>>> do rozwinięcia powyższe