jtothehoenderdos
commented
3 years ago Beste @maartenmarx ,
Dank voor je feedback en goed om te horen dat je het de goede kant op vindt gaan. Ik heb hieronder geprobeerd zo goed mogelijk aan je vragen tegemoet te komen (en uiteraard ook de gevraagde aanpassingen gedaan). Samen met de eerdere antwoorden en aanpassingen, ga ik er daarmee vanuit dat de scriptie hiermee - na de correspondentie en aanpassingen van afgelopen anderhalve maand (zie ook link onder mail) - afgerond is. En dat deze nu ook voor jou voldoende verdedigbaar is.
Mocht dit niet het geval zijn, dan lijkt het me goed om samen met Daniëlle, de opleidingsdirecteur en jou (en evt. Max, maar die krijgt binnenkort een kind) begin januari een skype gesprek in te plannen. Maar ik hoop natuurlijk dat het hiermee afgerond is.
Vriendelijke groet, en dank voor alle tijd en moeite die je hierin hebt gestopt,
Jop Hoenderdos
Mailwisselingen: https://github.com/jtothehoenderdos/MasterThesis/issues
Hierbij de antwoorden op je vragen:
1: Het is me nog steeds niet duidelijk wat de klasses nou zijn die je voorspelt: segment B, segment C, en dan met of zonder jaar erbij. Of allebei? Nee, want in figuur 6 heb je maar zo'n 35 klassen. Waarom blijft dit toch allemaal zo geheimzinnig?
Een deel van de vraag stond al in de abstract, maar heb ik geprobeerd wat te verduidelijken (zie ook hieronder). Daarnaast heb ik - net zoals nu in de Abstract staat - onder figuur 3 ook aangegeven wat er precies voorspeld wordt (alle wijkeigenschappen van de segmenten op basis van data van beide jaren). Onder figuur 6 heb ik uitgelegd waarom er 37 observaties zijn (vanwege de 95% threshold en het gebelanceerd maken van de data). Zie beide aanpassingen ook hieronder.
[image]https://user-images.githubusercontent.com/29228718/102777349-b5d63c80-4390-11eb-8a27-519c0f37ce07.png [image]https://user-images.githubusercontent.com/29228718/102777167-5841f000-4390-11eb-928b-7d8710c88362.png [image]https://user-images.githubusercontent.com/29228718/102777785-955ab200-4391-11eb-89e8-483efcba5691.png
-
Wat is klasse 8 in figuur 3 in Tabel 4? Ik heb de tekst iets aangepast in figuur 3 om duidelijk te maken wat klasse 8 is. Hiermee hoop ik ook duidelijk te hebben gemaakt hoe de tabel en het figuur met elkaar relateren. [image]https://user-images.githubusercontent.com/29228718/102778088-30538c00-4392-11eb-8a07-56abbe079195.png
-
Ik wil de jaar totalen in tabellen 2,3,4,5,6, en wil zien dat ze gelijk zijn, en als niet een heldere uitleg daarover in de caption
Heb de vragen als volgt verwerkt, waarbij ik onder elke tabel de jaar aantallen heb toegevoegd. De aantallen jaren tussen de tabellen kunnen verschillen. Dit komt doordat er alleen observaties zijn opgenomen waar minimaal n=10, vanwege privacy redenen vanuit de gemeente (anders is theoretisch mogelijk om de persoon te achterhalen). Deze uitleg is ook opgenomen in de tekst, en heb ik voor de volledigheid ook opgenomen in de titel van de tabel (zie hieronder).
[image]https://user-images.githubusercontent.com/29228718/102781778-888d8c80-4398-11eb-9462-f72c525f9f25.png [image]https://user-images.githubusercontent.com/29228718/102781834-9c38f300-4398-11eb-9402-92c11213068a.png [image]https://user-images.githubusercontent.com/29228718/102781875-ac50d280-4398-11eb-8d5c-c7a7f33e3c51.png
- in figuur 4 krijgt elke klasse 65 items. Maar in eerdere tabellen zijn er heel veel klasses met minder dan 65 items. Hoe doe je dat met random undersampling?
Figuur 4: [image]https://user-images.githubusercontent.com/29228718/102782033-f46ff500-4398-11eb-9770-327b0feefb66.png
Figuur 4 is het resultaat van random undersampling (dit staat ook in de titel). De final data set bestaat uit 37 verschillende klasses (zie de x-as). 1 van deze 37 klasses, heeft intotaal 65 items. Hierdoor krijgen alle andere samples ook 65 items. Door dit te doen, krijgen we een balanced dataset. De uitleg hiervan staat in the thesis onder het kopje "random Undersample": [image]https://user-images.githubusercontent.com/29228718/102782451-a90a1680-4399-11eb-9edc-151af5480d62.png
- Het blijft me onduidelijk wat het verband is tussen tabel 6 en tabellen 4 en 5. Als die totalen niet hetzelfde zijn, heb ik niks aan tabel 4 en 5, en weet ik dus nog niet hoe lastig het probleem is. Ik heb dit al eerder aangegeven.
In je vorige mail, gaf je aan dat je een overzicht wou hebben van de y-variabele. Dit is gedaan door middel van tabel 4 en 5 te maken. Hoe deze tabellen gemaakt, kan in de code worden gevonden: [image]https://user-images.githubusercontent.com/29228718/102782911-6b59bd80-439a-11eb-8edf-9d2ac63b446d.png
Door de totalen te hebben toegevoed van de vorige vragen, is het nu ook duidelijker hoe de tabelen met elkaar relateren.
Van: maartenmarx notifications@github.com Verzonden: donderdag 17 december 2020 15:32 Aan: jtothehoenderdos/MasterThesis MasterThesis@noreply.github.com CC: jtothehoenderdos jophoenderdos@hotmail.com; Mention mention@noreply.github.com Onderwerp: [jtothehoenderdos/MasterThesis] Dat gaat de goede kant op zeg! (#11)
Hi @mckeukenhttps://github.com/mckeuken @jtothehoenderdoshttps://github.com/jtothehoenderdos ,
Ik heb weer eens naar de scriptie gekeken en begin weer wat meer te begrijpen. Fijn dat het de goede kant op gaat. Voor we verder kunnen, echt eerst nog helder uitleg op mijn eerdere vragen, en ajb geef aandachta an de volgende punten.
-
Het is me nog steeds niet duidelijk wat de klasses nou zijn die je voorspelt: segment B, segment C, en dan met of zonder jaar erbij. Of allebei? Nee, want in figuur 6 heb je maar zo'n 35 klassen. Waarom blijft dit toch allemaal zo geheimzinnig?
-
De aantallen lijken echt weer niet te kloppen, en zolang je dit niet helemaal goed krijgt, kan ik niet akkoord gaan. Ik geef gewoon wat random observaties:
- Wat is klasse 8 in figuur 3 in Tabel 4?
- Ik wil de jaar totalen in tabellen 2,3,4,5,6, en wil zien dat ze gelijk zijn, en als niet een helder euitleg daarover in de caption
- in figuur 4 krijgt elke klasse 65 items. Maar in eerdere tabellen zijn er heel veel klasses met minder dan 65 items. Hoe doe je dat met random undersampling?
-
Het blijft me onduidelijk wat het verband is tussen tabel 6 en tabellen 4 en 5. Als die totalen niet hetzelfde zijn, heb ik niks aan tabel 4 en 5, en weet ik dus nog niet hoe lastig het probleem is. Ik heb dit al eerder aangegeven.
voorstel
Met zo'n lastige dataset met heel veel kleine klasses is het lastig werken. Je geeft vrijwel niks aan over je klasses behalve geheimzinnige codes. Wat je typisch doet in zo'n geval is hierarchisch clusteren, zodat je minder en grotere klassen krijgt. Kan datbij jou dan niet in bijvoobrrld 8 klassen B1-B8? Die zijn dan allemaal te overzien, je kan per klasse P,R, F1 uitprinten, en een helder CM maken.
Ik denk dat dit veel meer inzicht gaat geven dan jouw undersampling, waar de gemeente eigenlijk niets aan heeft. Dus ik zou dat eens draaien. Dit is echt niet alleen een aanrader, maar wat mij betreft een manier om toch nog een heldere lijn in de scriptie te krijgen, en hem verdedigbaar te maken. Graag lees ik dan ook wat B1-B8 betekent.
Features Importance
Hier laat je zien dat de neighborhood characteristics niks doen (in ieder geval als je die andere wel hebt). Test dit door het model nogmaals te draaien maar dan met alleen deze 4 variabelen in Fig 7. Dan kan je daar een helder antwoord op geven, als de F1 scores niet significant zakken.
Het is me niet helemaal duidelijk wat voor soort variabele IVEOA" nou is: is dat een buurt variabele? Of iets wat aan een persoon hangt?
Bedrag
En eigenlijk is het bedrag toch een variabele die je probeert te voorspellen? Geen verklarende variabele? Ik zou dit er maar uithalen, dit is heel erg vreemd. Als je je RQ vraag leest predicting the demand for the specialist youth care in Amsterdam? dacht ik namelijk meteen dat je het bedrag wilde voorspellen. Gek he? Maar misschien ben ik te rechts economisch ingesteld, en stel vraag gewlijk aan een bedrag.
— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHubhttps://github.com/jtothehoenderdos/MasterThesis/issues/11, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AG675LUGLG36AADZ2QIN2YTSVII6RANCNFSM4U7YABWA.
maartenmarx
Hi @mckeuken @jtothehoenderdos ,
Ik heb weer eens naar de scriptie gekeken en begin weer wat meer te begrijpen. Fijn dat het de goede kant op gaat. Voor we verder kunnen, echt eerst nog helder uitleg op mijn eerdere vragen, en ajb geef aandachta an de volgende punten.
voorstel
Met zo'n lastige dataset met heel veel kleine klasses is het lastig werken. Je geeft vrijwel niks aan over je klasses behalve geheimzinnige codes. Wat je typisch doet in zo'n geval is hierarchisch clusteren, zodat je minder en grotere klassen krijgt. Kan datbij jou dan niet in bijvoobrrld 8 klassen B1-B8? Die zijn dan allemaal te overzien, je kan per klasse P,R, F1 uitprinten, en een helder CM maken.
Ik denk dat dit veel meer inzicht gaat geven dan jouw undersampling, waar de gemeente eigenlijk niets aan heeft. Dus ik zou dat eens draaien. Dit is echt niet alleen een aanrader, maar wat mij betreft een manier om toch nog een heldere lijn in de scriptie te krijgen, en hem verdedigbaar te maken. Graag lees ik dan ook wat B1-B8 betekent.
Features Importance
Hier laat je zien dat de neighborhood characteristics niks doen (in ieder geval als je die andere wel hebt). Test dit door het model nogmaals te draaien maar dan met alleen deze 4 variabelen in Fig 7. Dan kan je daar een helder antwoord op geven, als de F1 scores niet significant zakken.
Het is me niet helemaal duidelijk wat voor soort variabele IVEOA" nou is: is dat een buurt variabele? Of iets wat aan een persoon hangt?
Bedrag
En eigenlijk is het bedrag toch een variabele die je probeert te voorspellen? Geen verklarende variabele? Ik zou dit er maar uithalen, dit is heel erg vreemd. Als je je RQ vraag leest predicting the demand for the specialist youth care in Amsterdam? dacht ik namelijk meteen dat je het bedrag wilde voorspellen. Gek he? Maar misschien ben ik te rechts economisch ingesteld, en stel vraag gewlijk aan een bedrag.