search

sdss / lvmdrp

Local Volume Mapper (LVM) Data Reduction Pipeline
BSD 3-Clause "New" or "Revised" License
2 stars 0 forks source link

Unhelpful error messate in regnerating the meta data #39

Closed kslong closed 6 months ago

kslong commented 10 months ago

Please modify this error message so that it prints out the name of the file that is causing the problem.

For me its a problem for day 60216 It's probably a local problem on my machine, but nevertheless, better logging would help to diagnose what is going on

[INFO]: going to extract metadata from 873 frames
extracting metadata:   3%|######8                                                                                                                                                                                                                                                  | 24/873 [00:03<01:58,  7.14frame/s][ERROR]: Cannot read FITS header: Empty or corrupt FITS file
extracting metadata:   5%|###########9                                                                                                                                                                                                                                             | 42/873 [00:05<02:08,  6.47frame/s][ERROR]: Cannot read FITS header: Empty or corrupt FITS file
extracting metadata:  31%|#############################################################################2                                                                                                                                                                          | 272/873 [00:38<01:22,  7.26frame/s][ERROR]: Cannot read FITS header: Empty or corrupt FITS file
extracting metadata:  37%|##########################################################################################6                                                                                                                                                             | 319/873 [00:44<01:19,  6.95frame/s][ERROR]: Cannot read FITS header: Empty or corrupt FITS file
extracting metadata:  44%|#############################################################################################################3                                                                                                                                          | 385/873 [00:53<01:23,  5.84frame/s][ERROR]: Cannot read FITS header: Empty or corrupt FITS file
extracting metadata:  66%|####################################################################################################################################################################1                                                                                   | 578/873 [01:21<00:35,  8.22frame/s][ERROR]: Cannot read FITS header: Empty or corrupt FITS file
extracting metadata:  83%|#############################################################################################################################################################################################################1                                          | 722/873 [01:42<00:20,  7.20frame/s][ERROR]: Cannot read FITS header: Empty or corrupt FITS file
extracting metadata:  87%|#######################################################################################################################################################################################################################3                                | 758/873 [01:47<00:16,  6.87frame/s][ERROR]: Cannot read FITS header: Empty or corrupt FITS file
extracting metadata:  93%|######################################################################################################################################################################################################################################9                 | 813/873 [01:55<00:07,  7.76frame/s][ERROR]: Cannot read FITS header: Empty or corrupt FITS file
extracting metadata: 100%|########################################################################################################################################################################################################################################################| 873/873 [02:03<00:00,  7.05frame/s]
[INFO]: creating metadata store at /Users/long/Projects/lvm_data/sas/sdsswork/lvm/spectro/redux/0.1.1.dev0/1111/60216/raw_metadata.hdf5
kslong commented 6 months ago

No one has acted on this, as far as I know, but at this point the code has moved on.