DeWvanAxel / thesis

The classification of municipality documents
0 stars 0 forks source link

Agenda 25-04 #7

Closed DeWvanAxel closed 6 years ago

DeWvanAxel commented 6 years ago

Het was fijn Maarten dat je vorige week kritisch was op mijn data, want alles was volkomen waar.

  1. De data is multilabel --> Alles moet dus multilabel worden.
  2. De data is dubbel opgenomen, zowel vraag en vraag+antwoord als aparte urls.

Ik heb deze dingen niet tegelijkertijd gecontroleerd, dus ik zit nu eigenlijk de hele week in het proces van data ophalen en blijkbaar opnieuw testen met onjuiste data. Er zijn dus tijdelijk weinig datapunten (9000) en de testen stellen dan ook niet zo veel voor. Ik heb niet heel veel te bespreken, hoewel het misschien goed is een nieuwe tijdsplanning te maken en die door te spreken.

DeWvanAxel commented 6 years ago

https://github.com/DeWvanAxel/thesis/blob/master/README.md

maartenmarx commented 6 years ago

Axel, zoals ik aangaf heb ik 40K kamervragen in XML hierliggen (in het formaat van de overheid), en ook een xquery die het eenvoudig omzet naar csv. Je kan dat gebruiken als je wilt. Dan hoef je niks meer opnieuw op te halen. We kunnen ons halfuurtje morgen gebruiken om die XQuery aan te passen en goed te krijgen. Wil je dat? Of zal ik je de data sturen? Anders is er denk ik niet veel te bespreken.

DeWvanAxel commented 6 years ago

Hallo Maarten,

Ik wil graag ons half uurtje gebruiken om dat werkend te krijgen inderdaad. Ik had wellicht wat duidelijker kunnen zijn, maar ik begreep inderdaad niet goed wat ik kon doen met die query.

Groeten van,

Axel Hirschel


From: maartenmarx notifications@github.com Sent: Tuesday, April 24, 2018 10:28:03 AM To: DeWvanAxel/thesis Cc: DeWvanAxel; Assign Subject: Re: [DeWvanAxel/thesis] Agenda 25-04 (#7)

Axel, zoals ik aangaf heb ik 40K kamervragen in XML hierliggen (in het formaat van de overheid), en ook een xquery die het eenvoudig omzet naar csv. Je kan dat gebruiken als je wilt. Dan hoef je niks meer opnieuw op te halen. We kunnen ons halfuurtje morgen gebruiken om die XQuery aan te passen en goed te krijgen. Wil je dat? Of zal ik je de data sturen? Anders is er denk ik niet veel te bespreken.

— You are receiving this because you were assigned. Reply to this email directly, view it on GitHubhttps://eur02.safelinks.protection.outlook.com/?url=https%3A%2F%2Fgithub.com%2FDeWvanAxel%2Fthesis%2Fissues%2F7%23issuecomment-383848236&data=02%7C01%7C%7C3ae4e6da5a1b4e50273608d5a9bd4cf7%7C84df9e7fe9f640afb435aaaaaaaaaaaa%7C1%7C0%7C636601552857355143&sdata=R4fcu5kRKLx8BB7Y3weZet0SzpOa8fS%2Bf1I1Q3YJYDE%3D&reserved=0, or mute the threadhttps://eur02.safelinks.protection.outlook.com/?url=https%3A%2F%2Fgithub.com%2Fnotifications%2Funsubscribe-auth%2FAeaLQaTFqih3ClZQQM8Kg_acKVlHMvX1ks5truITgaJpZM4TfwKJ&data=02%7C01%7C%7C3ae4e6da5a1b4e50273608d5a9bd4cf7%7C84df9e7fe9f640afb435aaaaaaaaaaaa%7C1%7C0%7C636601552857355143&sdata=AW7nDipw2lRvy4iLc3lY1mwQdxs8zlc1iCjX4sWz%2BkE%3D&reserved=0.

DeWvanAxel commented 6 years ago

Ik wil ook evaluation metrics toevoegen op de agenda, en hoe ik de gemeenteset moet classificeren. Voor nu heb ik Jaccard/Hamming en F1 als belangrijkste voor de multilabel data van het parlement. Voor de multiclass maar unilabel gemeente heb ik accuracy + F1 als belangrijkste. Lijkt je dat verstandig?