search

ufal / neuralmonkey

An open-source tool for sequence learning in NLP built on TensorFlow.
BSD 3-Clause "New" or "Revised" License
410 stars 102 forks source link

Bucketed batching #762

Closed varisd closed 5 years ago

varisd commented 6 years ago
varisd commented 5 years ago

Na cem to tady vazne?

jlibovicky commented 5 years ago

Já bych rád věděl, jak si vyberu podle čeho se buckteruje a co se stane, když bude vstupní series obrázková.

varisd commented 5 years ago

To jsem psal vyse. Ted tam mas zakladni logiku, ze se to rozhoduje podle nejobjemnejsi series. Implementace logiky pro ignorovani series (kvuli obrazkum) muzes pridat v separatnim PR. Myslim, ze je to udelane dostacne obecne, aby se to nemuselo kvuli tomu cele prekopavat.

jindrahelcl commented 5 years ago

Implementace logiky pro ignorovani series (kvuli obrazkum) muzes pridat v separatnim PR. Myslim, ze je to udelane dostacne obecne, aby se to nemuselo kvuli tomu cele prekopavat

To znamená, že teď to obrázky prostě neumí a spadne to?

jindrahelcl commented 5 years ago

vůbec to neni otestovaný (až na to, cos teď přidal)

varisd commented 5 years ago

Implementace logiky pro ignorovani series (kvuli obrazkum) muzes pridat v separatnim PR. Myslim, ze je to udelane dostacne obecne, aby se to nemuselo kvuli tomu cele prekopavat

To znamená, že teď to obrázky prostě neumí a spadne to?

Predelal jsem tests/hier-multiattention.ini, aby pouzival bucketed_batching po tokenech a funguje to.

varisd commented 5 years ago

ping

jindrahelcl commented 5 years ago

Jak jsme vyřešili, že se to má chovat na konci epochy?

varisd commented 5 years ago

Vysypou se buckety. Takhle se to chova i bez bucketovani (soucasny main). Posledni (ne nutne plna) batch se pouzije, nezahodi.

jindrahelcl commented 5 years ago

Nechtěli jsme je vyhodit?

jindrahelcl commented 5 years ago

protože teď se nevyhazujou (viz unit test)

jindrahelcl commented 5 years ago

přidal bych tam na to option

jindrahelcl commented 5 years ago

Já jsem asi už spokojenej..