jpfitzinger / tidyfit

An extension to the R tidyverse for automated ML. The package allows fitting and cross validation of linear regression and classification algorithms on grouped data.
https://tidyfit.residualmetrics.com
13 stars 1 forks source link

No BMA features returned in model_df #2

Open Rina2323 opened 1 year ago

Rina2323 commented 1 year ago

Hello,

I was trying to extract BMA selected features using the code from your feature selection example: model_df <- coef_df %>%

Always remove the intercept

filter(term != "(Intercept)") %>%

mutate(selected = case_when(

Extract top 10 largest scores

model %in% c("Correlation", "RReliefF", "Information Gain") ~ 
  rank(-abs(estimate)) <= MODEL_SIZE,
# BMA features are selected using the posterior inclusion probability
model == "BMA" ~ rank(-pip) <= MODEL_SIZE,
# For all other methods keep all features
TRUE ~ TRUE

)) %>%

Keep only included terms

filter(selected) %>% select(model, term)

But nothing is returned in model_df. Below are output related to BMA method. 282 | BMA | RPI | 2.279047e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.465861e-01 | 1.00000 283 | BMA | W875RX1 | -2.332652e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 9.497100e-02 | 1.00000 284 | BMA | DPCERA3M086SBEA | 2.221217e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.480478e-01 | 1.00000 285 | BMA | CMRMTSPLx | 1.005424e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.804978e-02 | 1.00000 286 | BMA | RETAILx | 9.183429e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.635119e-02 | 1.00000 287 | BMA | INDPRO | 7.407899e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 3.208493e+00 | 1.00000 288 | BMA | IPFPNSS | -4.299937e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.782436e+00 | 1.00000 289 | BMA | IPFINAL | -1.083862e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.019294e-01 | 1.00000 290 | BMA | IPDCONGD | 2.168514e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 9.155248e-02 | 1.00000 291 | BMA | IPNCONGD | 4.464955e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.626257e-01 | 1.00000 292 | BMA | IPBUSEQ | 2.908983e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.233416e-01 | 1.00000 293 | BMA | IPMAT | -3.274678e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.542808e+00 | 1.00000 294 | BMA | IPNMAT | 9.931251e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.098419e-01 | 1.00000 295 | BMA | IPFUELS | -4.057648e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.206421e-02 | 1.00000 296 | BMA | HWI | -1.954497e-04 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 4.923532e-06 | 1.00000 297 | BMA | HWIURATIO | 1.296311e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 3.594172e-02 | 1.00000 298 | BMA | CLF16OV | 1.334260e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 8.542169e-01 | 1.00000 299 | BMA | CE16OV | -1.107490e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 8.267798e-01 | 1.00000 300 | BMA | UNRATE | 3.976698e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 7.126364e-03 | 1.00000 301 | BMA | UEMPMEAN | 4.479508e-03 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 7.375992e-04 | 1.00000 302 | BMA | UEMPLT5 | -8.345826e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 9.829115e-03 | 1.00000 303 | BMA | UEMP5TO14 | -6.724410e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 9.141039e-03 | 1.00000 304 | BMA | UEMP15OV | 5.722043e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 4.770319e-02 | 1.00000 305 | BMA | UEMP15T26 | -2.415579e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.061397e-02 | 1.00000 306 | BMA | UEMP27OV | -2.387745e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.450842e-02 | 1.00000 307 | BMA | CLAIMSx | 1.894981e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 9.224204e-03 | 1.00000 308 | BMA | PAYEMS | 9.379177e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 9.327782e+00 | 1.00000 309 | BMA | USGOOD | -1.165464e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.798075e+00 | 1.00000 310 | BMA | CES1021000001 | -6.647990e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 8.830768e-02 | 1.00000 311 | BMA | USCONS | -4.947934e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 4.878470e-01 | 1.00000 312 | BMA | MANEMP | 2.099518e+02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.135434e+01 | 1.00000 313 | BMA | DMANEMP | -1.264328e+02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.993945e+00 | 1.00000 314 | BMA | NDMANEMP | -8.612760e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 4.306480e+00 | 1.00000 315 | BMA | SRVPRD | -5.362620e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 7.737687e+00 | 1.00000 316 | BMA | USTPU | -1.132373e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 4.567867e-01 | 1.00000 317 | BMA | USWTRADE | 3.479274e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.895616e-01 | 1.00000 318 | BMA | USTRADE | 2.488922e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.874415e-01 | 1.00000 319 | BMA | USFIRE | -6.197322e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.364894e-01 | 1.00000 320 | BMA | USGOVT | -2.856361e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.951068e-01 | 1.00000 321 | BMA | CES0600000007 | 1.224435e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.912245e-03 | 1.00000 322 | BMA | AWHMAN | -1.274401e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.741080e-03 | 1.00000 323 | BMA | HOUST | 7.493413e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 5.675990e-02 | 1.00000 324 | BMA | HOUSTNE | -8.824702e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.257611e-03 | 1.00000 325 | BMA | HOUSTMW | -1.051764e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 9.247453e-03 | 1.00000 326 | BMA | HOUSTS | -4.375989e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.774091e-02 | 1.00000 327 | BMA | HOUSTW | -1.557988e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.398661e-02 | 1.00000 328 | BMA | PERMIT | 4.652506e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.022745e-02 | 1.00000 329 | BMA | PERMITS | -8.376472e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.129053e-02 | 1.00000 330 | BMA | PERMITW | -2.651373e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 7.899294e-03 | 1.00000 331 | BMA | ACOGNO | -6.925528e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 3.011146e-02 | 1.00000 332 | BMA | ANDENOx | 3.085921e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 5.119744e-03 | 1.00000 333 | BMA | ISRATIOx | 1.061983e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 5.063332e-02 | 1.00000 334 | BMA | M2SL | 1.312406e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.091038e-01 | 1.00000 335 | BMA | M2REAL | -1.163948e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.349383e-01 | 1.00000 336 | BMA | TOTRESNS | -1.067992e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.645986e-03 | 1.00000 337 | BMA | NONREVSL | -1.116233e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 9.013576e-02 | 1.00000 338 | BMA | SPdivyield | -2.158591e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.305597e-02 | 1.00000 339 | BMA | SPPEratio | -1.466113e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.019499e-02 | 1.00000 340 | BMA | CP3Mx | 4.182765e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 3.203443e-03 | 1.00000 341 | BMA | TB3MS | -3.791193e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 5.555805e-03 | 1.00000 342 | BMA | TB6MS | -1.339925e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 7.657096e-03 | 1.00000 343 | BMA | GS5 | 1.582848e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 5.839251e-03 | 1.00000 344 | BMA | GS10 | -4.098980e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.946515e-03 | 1.00000 345 | BMA | COMPAPFFx | -3.488237e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.696716e-03 | 1.00000 346 | BMA | TB3SMFFM | -5.675037e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 5.809465e-03 | 1.00000 347 | BMA | TB6SMFFM | 1.934316e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 8.938821e-03 | 1.00000 348 | BMA | T1YFFM | -6.297421e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 4.855082e-03 | 1.00000 349 | BMA | T5YFFM | -1.329457e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 3.546981e-03 | 1.00000 350 | BMA | T10YFFM | 1.425439e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 3.925585e-03 | 1.00000 351 | BMA | BAAFFM | -4.184564e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.106389e-03 | 1.00000 352 | BMA | TWEXAFEGSMTHx | -1.068787e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.097109e-01 | 1.00000 353 | BMA | EXSZUSx | 2.038815e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 3.363163e-02 | 1.00000 354 | BMA | EXJPUSx | 3.352766e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.495812e-02 | 1.00000 355 | BMA | EXUSUKx | -6.058948e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.877797e-02 | 1.00000 356 | BMA | WPSID61 | 3.729033e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 7.182514e-02 | 1.00000 357 | BMA | WPSID62 | 3.059478e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 8.429458e-03 | 1.00000 358 | BMA | OILPRICEx | -1.159378e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 3.862260e-03 | 1.00000 359 | BMA | PPICMM | 3.259637e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 9.354892e-03 | 1.00000 360 | BMA | CPIAUCSL | 4.870628e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 8.090943e-01 | 1.00000 361 | BMA | CPIAPPSL | -5.943072e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.240360e-02 | 1.00000 362 | BMA | CPITRNSL | -2.000183e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.117237e-01 | 1.00000 363 | BMA | CPIMEDSL | 1.268817e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.398433e-01 | 1.00000 364 | BMA | CUSR0000SAD | -1.176324e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.950445e-01 | 1.00000 365 | BMA | CUSR0000SAS | -1.095863e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 5.625972e-01 | 1.00000 366 | BMA | CPIULFSL | 3.901971e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 5.657043e-01 | 1.00000 367 | BMA | PCEPI | 6.866763e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.024812e+00 | 1.00000 368 | BMA | DDURRG3M086SBEA | -9.532467e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 7.634560e-01 | 1.00000 369 | BMA | DNDGRG3M086SBEA | -1.531950e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.422791e+00 | 1.00000 370 | BMA | DSERRG3M086SBEA | -4.550742e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 3.916238e+00 | 1.00000 371 | BMA | CES0600000008 | -1.493049e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 4.826920e-01 | 1.00000 372 | BMA | CES2000000008 | 4.828000e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.503686e-01 | 1.00000 373 | BMA | UMCSENTx | 8.645624e-04 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 8.600441e-05 | 1.00000 374 | BMA | DTCOLNVHFNM | 2.544917e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.203072e-02 | 1.00000 375 | BMA | VIXCLSx | 2.784916e-03 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 8.394768e-05 | 1.00000 376 | BMA | AWOTMAN | -1.327257e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.823896e-03 | 0.99872 377 | BMA | BOGMBASE | 1.137794e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.444255e-02 | 0.99826 378 | BMA | SPindust | -2.158660e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.870254e-02 | 0.99739 379 | BMA | BAA | -2.021290e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.042338e-03 | 0.94312 380 | BMA | CONSPI | 2.546046e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 9.616522e-01 | 0.91807 381 | BMA | IPDMAT | 3.987013e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 3.192258e-01 | 0.63539 382 | BMA | WPSFD49502 | -2.484231e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.967891e-01 | 0.63196 383 | BMA | IPMANSICS | 7.189330e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 8.669601e-01 | 0.43419 384 | BMA | WPSFD49207 | -1.817287e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.432665e-01 | 0.37055 385 | BMA | CES3000000008 | 2.190179e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 3.326319e-01 | 0.33144 386 | BMA | CUSR0000SAC | 3.910769e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.140726e-01 | 0.31587 387 | BMA | DTCTHFNM | -2.003753e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 3.284286e-02 | 0.29877 388 | BMA | CUSR0000SA0L2 | 3.938026e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.813225e-01 | 0.27452 389 | BMA | EXCAUSx | -2.489352e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 5.231445e-02 | 0.20440 390 | BMA | NONBORRES | -1.282580e-04 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.728493e-04 | 0.20205 391 | BMA | BUSINVx | 6.819731e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.557969e-01 | 0.17961 392 | BMA | AAAFFM | 9.039716e-04 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 3.002487e-03 | 0.09594 393 | BMA | AAA | -1.695854e-03 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.352598e-03 | 0.07291 394 | BMA | AMDMUOx | -6.237170e-03 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.778731e-02 | 0.05728 395 | BMA | FEDFUNDS | 4.653320e-04 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.211383e-03 | 0.04904 396 | BMA | IPCONGD | -6.450853e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 3.228457e-01 | 0.04480 397 | BMA | AMDMNOx | -1.039158e-03 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.587264e-03 | 0.02898 398 | BMA | IPB51222S | 8.007886e-04 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.719296e-03 | 0.02472 399 | BMA | REALLN | -2.258466e-03 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.666863e-02 | 0.02206 400 | BMA | CUMFNS | -1.505342e-04 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.448512e-03 | 0.01625 401 | BMA | CUSR0000SA0L5 | 2.426053e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.103444e-01 | 0.01553 402 | BMA | M1SL | -6.338479e-04 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 7.006240e-03 | 0.01137 403 | BMA | BUSLOANS | 6.261764e-04 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 8.350868e-03 | 0.00813 404 | BMA | GS1 | -9.868131e-05 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.363848e-03 | 0.00695 405 | BMA | PERMITMW | 5.239774e-05 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 8.663385e-04 | 0.00598 406 | BMA | INVEST | 1.810802e-06 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.484831e-03 | 0.00368 407 | BMA | SP500 | -6.621410e-04 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.211155e-02 | 0.00356 408 | BMA | PERMITNE | -8.372356e-06 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.916880e-04 | 0.00188 409 | BMA | (Intercept) | -1.642197e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.00000

Any suggestions to solve this issue? Thank you.

jpfitzinger commented 1 year ago

Hi, the problem is in the rank(-pip) <= MODEL_SIZE step. In your results you have more variables with PIP = 1.0 than MODEL_SIZE. Try either using rank(-pip, ties.method = "first") (this will solve the problem technically, but is a little arbitrary), or increase the number of BMA iterations.

I assume that setting burn and iter to very low values is the cause of the large number of variables with PIP = 1.0 in your results.

Hope this helps.