Closed rabah-khalek closed 7 months ago
I got this issue while scanning facebook/bart-large-mnli with multi_nli :
facebook/bart-large-mnli
multi_nli
==== Scanning facebook/bart-large-mnli with multi_nli ==== /Users/rak/Documents/cicd/.venv/lib/python3.10/site-packages/giskard/ml_worker/utils/network.py:57: UserWarning: You're using a pre-release version of giskard while a new version is available, please install it with: pip install "giskard==2.0.0b20" warning( Downloading (…)lve/main/config.json: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.15k/1.15k [00:00<00:00, 248kB/s] Downloading model.safetensors: 63%|█████████████████████████████████████████████████████████████████████████████████▎ | 1.03G/1.63G [15:01<08:48, 1.14MB/s] Downloading model.safetensors: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.63G/1.63G [29:41<00:00, 915kB/s] Downloading (…)okenizer_config.json: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 26.0/26.0 [00:00<00:00, 140kB/s] Downloading (…)olve/main/vocab.json: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 899k/899k [00:01<00:00, 669kB/s] Downloading (…)olve/main/merges.txt: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 456k/456k [00:00<00:00, 772kB/s] Downloading (…)/main/tokenizer.json: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.36M/1.36M [00:01<00:00, 896kB/s] Traceback (most recent call last): File "/Users/rak/Documents/cicd/cli.py", line 43, in <module> report = runner.run(**runner_kwargs) File "/Users/rak/Documents/cicd/giskard_cicd/pipeline/runner.py", line 35, in run gsk_model, gsk_dataset = loader.load_giskard_model_dataset(**kwargs) File "/Users/rak/Documents/cicd/giskard_cicd/loaders/huggingface_loader.py", line 53, in load_giskard_model_dataset feature_mapping = self._get_feature_mapping(hf_model, hf_dataset) File "/Users/rak/Documents/cicd/giskard_cicd/loaders/huggingface_loader.py", line 106, in _get_feature_mapping raise NotImplementedError(msg) NotImplementedError: Unsupported model type.
NotImplementedError
I think it's because of the supported sub task type. We are asking TextClassificationPipeline.
TextClassificationPipeline
Its tag is zero-shot-classification
zero-shot-classification
I got this issue while scanning
facebook/bart-large-mnli
withmulti_nli
: