Ik las net dit paper en hij beschreef dat verschillende mensen dezelfde webpaginas moesten annoteren op een screenshot, dus ook op pixel nivo, met blokken eromheen. En verdomd, de kappa was niet zo hoog, maar dat lag heel vaak aan de whitespace om een blok heen, de een nam wat meer, de ander deed het heel strak.
Ik moest meteen aan jou denken.
Het punt is dat dat natuurlijk helemaal niet uitmaakt, en dat je score dan eigenlijk "te laag" is.
Ik dacht dat je deze aanpassing makkelijk kunt maken.
$H$ is een predicted segment, en $T$ een gouden standaard segment, beide een verzameling pixels.
als $T\subseteq H$ en $H\setminus T$ bevat alleen "document whitespace", dan zetten we $IoU(T,H)=1$.
Dat "document whitespace" is toch wel netjes te operationaliseren?
Zelfs deze sterkere versie vind ik ook te verdedigen (want het kan ook zijn dat de gold standard juist heel ruim was, en jouw predictor heel sgtrict):
als $T\oplus H$ alleen document whitespace bevat, dan .... (hier is $\oplus$ symmetric difference, dus alles dat NIET in de doorsnede (=intersection) zit.
Probeer het eens @alhasha001 , je kan dit toch makkelijk in je PQ maat inbouwen, gewoon voor alle paartjes in de TP.
Of je gebruikt deze regel om de "aangepaste IoU" voor in de (teller van de ) P, R en F1 te berekenen.
Nou, ik ben benieuwd! Probeer het eens, bekijk wat het oplevert, en check dat er "niks foutgaat" (dus dat het echt alleen om de randjes gaat). Zet het samen in een tabelletje, of grafiekje. En maak hier een nieuwe onderzoeksvraag van natuurlijk! Iets als "Hoe kunnen we corrigeren voor een verschil in granulariteit in annotaties die voor de detectie taak eigenlijk niks uitmaakt?" (Nou mag jij dat mooi in het engels vertalen ;-)
Sterket met de verhuizing terug he! Het is ook altijd wennen om weer even im een nieuw huis te wonen. Ik weet er alles van!
groet
maarten
PS Weet jij iemand voor 2e lezer/examinator? Dat kan iedereen zijn die hier wat van afweet. Zelfs iemand uit de literatuur.
Hi @alhasha001 ,
Ik las net dit paper en hij beschreef dat verschillende mensen dezelfde webpaginas moesten annoteren op een screenshot, dus ook op pixel nivo, met blokken eromheen. En verdomd, de kappa was niet zo hoog, maar dat lag heel vaak aan de whitespace om een blok heen, de een nam wat meer, de ander deed het heel strak.
Ik moest meteen aan jou denken.
Het punt is dat dat natuurlijk helemaal niet uitmaakt, en dat je score dan eigenlijk "te laag" is.
Ik dacht dat je deze aanpassing makkelijk kunt maken.
$H$ is een predicted segment, en $T$ een gouden standaard segment, beide een verzameling pixels.
Dat "document whitespace" is toch wel netjes te operationaliseren?
Zelfs deze sterkere versie vind ik ook te verdedigen (want het kan ook zijn dat de gold standard juist heel ruim was, en jouw predictor heel sgtrict):
als $T\oplus H$ alleen document whitespace bevat, dan .... (hier is $\oplus$ symmetric difference, dus alles dat NIET in de doorsnede (=intersection) zit.
Probeer het eens @alhasha001 , je kan dit toch makkelijk in je PQ maat inbouwen, gewoon voor alle paartjes in de TP.
Of je gebruikt deze regel om de "aangepaste IoU" voor in de (teller van de ) P, R en F1 te berekenen.
Nou, ik ben benieuwd! Probeer het eens, bekijk wat het oplevert, en check dat er "niks foutgaat" (dus dat het echt alleen om de randjes gaat). Zet het samen in een tabelletje, of grafiekje. En maak hier een nieuwe onderzoeksvraag van natuurlijk! Iets als "Hoe kunnen we corrigeren voor een verschil in granulariteit in annotaties die voor de detectie taak eigenlijk niks uitmaakt?" (Nou mag jij dat mooi in het engels vertalen ;-)
Sterket met de verhuizing terug he! Het is ook altijd wennen om weer even im een nieuw huis te wonen. Ik weet er alles van!
groet maarten
PS Weet jij iemand voor 2e lezer/examinator? Dat kan iedereen zijn die hier wat van afweet. Zelfs iemand uit de literatuur.