check what is sigma in RIC in artificial scenarios, how does it compare to sigma from SNR

Komentarz Wojtka z maila: jeszcze raz patrzylem na wyniki eksperymentow z aistats, zwlaszcza na supermodele. W przypadku scenariusza 1 (ale tez 2 i 3) wyniki dla PDMR i DMR sa bardzo dobre, to znaczy odsetek "bycia nadmodelem" modelu prawdziwego ladnie rosnie do jedynki. Jednakze, gdy popatrzymy na prawidlowa selekcje, to estymatory sa bardzo slabe. Zatem mamy dobry screening, ale nie potrafimy odrzucic wszystkich nieistotnych poziomow. Przyczyna tego moze byc niedoszacowanie wariancji w GICu - rozmawialismy o tym w Bedlewie. Mianowicie GIC to RSS_M + df_Mc log{p}*s^2, gdzie s^2 jest estymatorem wariancji w "najwiekszym modelu". Jesli ten najwiekszy model jest dosc duzy (porownujac z modelem prawdziwym oraz 'n'), to estymator wariancji czesto jest zbyt maly, czyli kara w GICu za mala, czyli wybrany model za duzy. Taka sytuacje zauwazylem dla predyktorow ciaglych i podejrzewam, ze zachodzi ona rowniez dla jakosciowych. Czy znalazlbys troche czasu, aby sie temu przyjrzec? To znaczy porownac s^2 z prawdziwa sigma^2 z SNR

SzymonNowakowski / DMRnet

check what is sigma in RIC in artificial scenarios, how does it compare to sigma from SNR #55