ValueError: Input image size (128*128) doesn't match model (224*224).

[asharani97]

Hello, I am getting the above error, if I place images folder in the MM-Amazon dataset folder. If I go by the instructions, the folder to download via gdown link doesn't have images.bin. So, code gives images.bin not found . When placed the file getting the above error.

What is the exact problem here ? Exact Error : ''' f"Input image size ({height}{width}) doesn't match model ({self.image_size[0]}{self.image_size[1]})." ValueError: Input image size (128128) doesn't match model (224224).

'''

[anshumitts]

Dear @asharani97 , I am not sure what is the error. Please provide us the following run tree $HOME/scratch/XC and post the results

[asharani97]

Thanks for your reply, below is the results for the command:

/DATA/rani1/scratch/XC/ ├── data │   ├── MM-AmazonTitles-300K │   │   ├── download_images.ipynb │   │   ├── filter_labels_test.txt │   │   ├── filter_labels_train.txt │   │   ├── images │   │   │   ├── img.bin │   │   │   ├── label.img.bin.npz │   │   │   ├── label.img.uid.txt │   │   │   ├── test.img.bin.npz │   │   │   ├── test.img.uid.txt │   │   │   ├── train.img.bin.npz │   │   │   └── train.img.uid.txt │   │   ├── img.urls.txt │   │   ├── raw_data │   │   │   ├── label.raw.txt │   │   │   ├── test.raw.txt │   │   │   └── train.raw.txt │   │   ├── sentencebert │   │   │   ├── label.txt.seq.memmap.dat │   │   │   ├── label.txt.seq.memmap.meta │   │   │   ├── test.txt.seq.memmap.dat │   │   │   ├── test.txt.seq.memmap.meta │   │   │   ├── train.txt.seq.memmap.dat │   │   │   └── train.txt.seq.memmap.meta │   │   ├── trn_X_Y.txt │   │   └── tst_X_Y.txt │   └── MM-AmazonTitles-300K.zip ├── models │   └── MM-AmazonTitles-300K │   └── MufinMultiModal │   └── v_MUFIN │   ├── anns_m1_map.pkl │   ├── filter_model_MufinXAttnRanker.pkl │   ├── filter_model.pkl │   ├── filter_model-warm.pkl │   ├── model_MufinXAttnRanker.pkl │   ├── model.pkl │   ├── model-warm.pkl │   ├── ova_module.pkl │   └── part_0 │   ├── anns_m1.index │   └── anns_m1.metadata ├── programs │   ├── CafeXC │   │   ├── CafeXC.yml │   │   ├── get_examples.ipynb │   │   ├── README.md │   │   ├── tokenize.ipynb │   │   └── xc │   │   ├── libs │   │   │   ├── anns.py │   │   │   ├── build_data.py │   │   │   ├── cluster.py │   │   │   ├── collate_fn.py │   │   │   ├── custom_dtypes.py │   │   │   ├── data_base.py │   │   │   ├── data_img.py │   │   │   ├── data_lbl.py │   │   │   ├── dataloader.py │   │   │   ├── dataparallel.py │   │   │   ├── dataset.py │   │   │   ├── data_shorty.py │   │   │   ├── data_txt.py │   │   │   ├── diskann.py │   │   │   ├── dtypes.py │   │   │   ├── fast_cluster.py │   │   │   ├── graph.py │   │   │   ├── loss.py │   │   │   ├── model_base.py │   │   │   ├── model.py │   │   │   ├── model_utils.py │   │   │   ├── optimizer_utils.py │   │   │   ├── parameters.py │   │   │   ├── pycache │   │   │   │   ├── anns.cpython-36.pyc │   │   │   │   ├── cluster.cpython-36.pyc │   │   │   │   ├── custom_dtypes.cpython-36.pyc │   │   │   │   ├── data_base.cpython-36.pyc │   │   │   │   ├── data_img.cpython-36.pyc │   │   │   │   ├── data_img.cpython-39.pyc │   │   │   │   ├── data_lbl.cpython-36.pyc │   │   │   │   ├── dataloader.cpython-36.pyc │   │   │   │   ├── dataparallel.cpython-36.pyc │   │   │   │   ├── dataset.cpython-36.pyc │   │   │   │   ├── dataset.cpython-39.pyc │   │   │   │   ├── data_shorty.cpython-36.pyc │   │   │   │   ├── data_txt.cpython-36.pyc │   │   │   │   ├── fast_cluster.cpython-36.pyc │   │   │   │   ├── loss.cpython-36.pyc │   │   │   │   ├── model_base.cpython-36.pyc │   │   │   │   ├── model_utils.cpython-36.pyc │   │   │   │   ├── optimizer_utils.cpython-36.pyc │   │   │   │   ├── parameters.cpython-36.pyc │   │   │   │   ├── parameters.cpython-37.pyc │   │   │   │   ├── parameters.cpython-39.pyc │   │   │   │   ├── utils.bin_index-29.py36m.1.nbc │   │   │   │   ├── utils.bin_index-29.py36m.2.nbc │   │   │   │   ├── utils.bin_index-29.py36m.nbi │   │   │   │   ├── utils.bin_index-29.py39.1.nbc │   │   │   │   ├── utils.bin_index-29.py39.2.nbc │   │   │   │   ├── utils.bin_index-29.py39.nbi │   │   │   │   ├── utils.cpython-36.pyc │   │   │   │   ├── utils.cpython-37.pyc │   │   │   │   └── utils.cpython-39.pyc │   │   │   └── utils.py │   │   ├── method │   │   │   └── mufin │   │   │   ├── dataset.py │   │   │   ├── model.py │   │   │   ├── models_encoders.py │   │   │   ├── network.py │   │   │   └── pycache │   │   │   ├── dataset.cpython-36.pyc │   │   │   ├── dataset.cpython-39.pyc │   │   │   ├── model.cpython-36.pyc │   │   │   ├── model.cpython-39.pyc │   │   │   ├── models_encoders.cpython-36.pyc │   │   │   └── network.cpython-36.pyc │   │   ├── models │   │   │   ├── custom_transformer.py │   │   │   ├── models_base.py │   │   │   ├── models_clf.py │   │   │   ├── models_emb.py │   │   │   ├── models_fusion.py │   │   │   ├── models_img.py │   │   │   ├── models_txt.py │   │   │   ├── network.py │   │   │   └── pycache │   │   │   ├── custom_transformer.cpython-36.pyc │   │   │   ├── models_base.cpython-36.pyc │   │   │   ├── models_clf.cpython-36.pyc │   │   │   ├── models_emb.cpython-36.pyc │   │   │   ├── models_fusion.cpython-36.pyc │   │   │   ├── models_img.cpython-36.pyc │   │   │   ├── models_img.cpython-39.pyc │   │   │   └── models_txt.cpython-36.pyc │   │   └── tools │   │   ├── analysis.py │   │   ├── evaluate.py │   │   ├── extract_eval.py │   │   ├── get_pre_train.py │   │   ├── label_features_split.py │   │   ├── pycache │   │   │   └── tokenize_text.cpython-36.pyc │   │   └── tokenize_text.py │   ├── MUFIN │   │   ├── configs │   │   │   ├── LF-AmazonTitles-131K.json │   │   │   └── MM-AmazonTitles-300K.json │   │   ├── img_db_hash.ipynb │   │   ├── LICENSE │   │   ├── MUFIN.ipynb │   │   ├── MUFIN.pdf │   │   ├── mufin.py │   │   ├── parameters.py │   │   ├── pycache │   │   │   ├── parameters.cpython-36.pyc │   │   │   ├── parameters.cpython-37.pyc │   │   │   └── parameters.cpython-39.pyc │   │   ├── README.md │   │   ├── run_MUFIN.sh │   │   └── run_pretrained.sh │   └── pyxclib │   ├── build │   │   ├── bdist.linux-x86_64 │   │   ├── lib.linux-x86_64-3.6 │   │   │   └── xclib │   │   │   ├── classifier │   │   │   │   ├── base.py │   │   │   │   ├── init.py │   │   │   │   ├── kcentroid.py │   │   │   │   ├── knn.py │   │   │   │   ├── mips.py │   │   │   │   ├── ova.py │   │   │   │   ├── parameters_base.py │   │   │   │   ├── parameters.py │   │   │   │   ├── slice.py │   │   │   │   └── _svm.py │   │   │   ├── data │   │   │   │   ├── data_loader.py │   │   │   │   ├── data_statistics.py │   │   │   │   ├── data_utils.py │   │   │   │   ├── features.py │   │   │   │   ├── init.py │   │   │   │   └── labels.py │   │   │   ├── embeddings │   │   │   │   ├── fasttext_embeddings.py │   │   │   │   └── init.py │   │   │   ├── evaluation │   │   │   │   ├── init.py │   │   │   │   └── xc_metrics.py │   │   │   ├── init.py │   │   │   └── utils │   │   │   ├── analysis.py │   │   │   ├── ann.py │   │   │   ├── clustering.py │   │   │   ├── dense.py │   │   │   ├── graph.py │   │   │   ├── init.py │   │   │   ├── matrix.py │   │   │   ├── misc.py │   │   │   ├── numba_utils.py │   │   │   ├── shortlist.py │   │   │   ├── _sparse.c │   │   │   ├── _sparse.cpython-36m-x86_64-linux-gnu.so │   │   │   ├── sparse.py │   │   │   └── text.py │   │   ├── lib.linux-x86_64-3.9 │   │   │   └── xclib │   │   │   ├── classifier │   │   │   │   ├── base.py │   │   │   │   ├── init.py │   │   │   │   ├── kcentroid.py │   │   │   │   ├── knn.py │   │   │   │   ├── mips.py │   │   │   │   ├── ova.py │   │   │   │   ├── parameters_base.py │   │   │   │   ├── parameters.py │   │   │   │   ├── slice.py │   │   │   │   └── _svm.py │   │   │   ├── data │   │   │   │   ├── data_loader.py │   │   │   │   ├── data_statistics.py │   │   │   │   ├── data_utils.py │   │   │   │   ├── features.py │   │   │   │   ├── init.py │   │   │   │   └── labels.py │   │   │   ├── embeddings │   │   │   │   ├── fasttext_embeddings.py │   │   │   │   └── init.py │   │   │   ├── evaluation │   │   │   │   ├── init.py │   │   │   │   └── xc_metrics.py │   │   │   ├── init.py │   │   │   └── utils │   │   │   ├── analysis.py │   │   │   ├── ann.py │   │   │   ├── clustering.py │   │   │   ├── dense.py │   │   │   ├── graph.py │   │   │   ├── init.py │   │   │   ├── matrix.py │   │   │   ├── misc.py │   │   │   ├── numba_utils.py │   │   │   ├── shortlist.py │   │   │   ├── _sparse.c │   │   │   ├── _sparse.cpython-39-x86_64-linux-gnu.so │   │   │   ├── sparse.py │   │   │   └── text.py │   │   ├── temp.linux-x86_64-3.6 │   │   │   └── xclib │   │   │   └── utils │   │   │   └── _sparse.o │   │   └── temp.linux-x86_64-3.9 │   │   └── xclib │   │   └── utils │   │   └── _sparse.o │   ├── dist │   │   ├── xclib-0.97-py3.6-linux-x86_64.egg │   │   └── xclib-0.97-py3.9-linux-x86_64.egg │   ├── LICENSE │   ├── README.md │   ├── setup.py │   ├── xclib │   │   ├── classifier │   │   │   ├── base.py │   │   │   ├── init.py │   │   │   ├── kcentroid.py │   │   │   ├── knn.py │   │   │   ├── mips.py │   │   │   ├── ova.py │   │   │   ├── parameters_base.py │   │   │   ├── parameters.py │   │   │   ├── README.md │   │   │   ├── slice.py │   │   │   └── _svm.py │   │   ├── data │   │   │   ├── data_loader.py │   │   │   ├── data_statistics.py │   │   │   ├── data_utils.py │   │   │   ├── features.py │   │   │   ├── init.py │   │   │   └── labels.py │   │   ├── embeddings │   │   │   ├── fasttext_embeddings.py │   │   │   └── init.py │   │   ├── evaluation │   │   │   ├── init.py │   │   │   └── xc_metrics.py │   │   ├── examples │   │   │   ├── compute_features.py │   │   │   ├── convert_format.pl │   │   │   ├── decile_wise_analysis.py │   │   │   ├── evaluate.py │   │   │   ├── fast_evaluate.py │   │   │   ├── get_ftx_embeddings.py │   │   │   ├── run_classifiers.py │   │   │   ├── run_classifiers.sh │   │   │   └── sparse_bow_features_from_raw_data.py │   │   ├── init.py │   │   └── utils │   │   ├── analysis.py │   │   ├── ann.py │   │   ├── clustering.py │   │   ├── dense.py │   │   ├── graph.py │   │   ├── init.py │   │   ├── matrix.py │   │   ├── misc.py │   │   ├── numba_utils.py │   │   ├── shortlist.py │   │   ├── _sparse.c │   │   ├── sparse.py │   │   ├── _sparse.pyx │   │   └── text.py │   └── xclib.egg-info │   ├── dependency_links.txt │   ├── PKG-INFO │   ├── requires.txt │   ├── SOURCES.txt │   └── top_level.txt └── results └── MM-AmazonTitles-300K ├── MufinMultiModal │   └── v_MUFIN │   ├── log_eval.txt │   ├── log_extract.txt │   ├── log_predict.txt │   ├── log_ranker_MufinXAttnRanker.txt │   ├── log_ranker_MufinXAttnRanker.txt.pred │   ├── log_train.txt │   ├── module1 │   ├── module2 │   │   ├── test.npz │   │   └── train.npz │   ├── module3 │   │   ├── encoder.pkl │   │   ├── label.txt.pretrained.npy │   │   ├── label.txt.pretrained.npz │   │   ├── test.txt.pretrained.npy │   │   ├── test.txt.pretrained.npz │   │   ├── train.txt.pretrained.npy │   │   └── train.txt.pretrained.npz │   └── module4 │   ├── m2_test_MufinXAttnRanker.npz │   └── m4_test_MufinXAttnRanker.npz └── PreTrainedMufinMultiModal └── v_MUFIN_pretrained ├── log_eval.txt ├── log_extract.txt ├── log_predict.txt ├── log_ranker_MufinXAttnRanker.txt ├── log_ranker_MufinXAttnRanker.txt.pred ├── log_train.txt ├── module1 ├── module2 │   ├── test.npz │   └── train.npz ├── module3 │   ├── encoder.pkl │   ├── label.txt.pretrained.npy │   ├── label.txt.pretrained.npz │   ├── test.txt.pretrained.npy │   ├── test.txt.pretrained.npz │   ├── train.txt.pretrained.npy │   └── train.txt.pretrained.npz └── module4 ├── m2_test_MufinXAttnRanker.npz └── m4_test_MufinXAttnRanker.npz

71 directories, 299 files

[anshumitts]

Apologies for long delays. I was travelling without Internet access.

Directory structure seems right to me. Can you also share the entire log including the error?

UPDATE: I saw the mistake in the last commit. I have fixed the issue. (I was able to run code at my end) Please do a git pull on CafeXC and try to run the code again. If it runs, close the commit.