search

Giskard-AI / cicd

Prototype of CI/CD functionality for Giskard.
Apache License 2.0
2 stars 1 forks source link

feature_mapping issue #4

Closed rabah-khalek closed 7 months ago

rabah-khalek commented 1 year ago

I got this issue while scanning facebook/bart-large-mnli with multi_nli :

==== Scanning facebook/bart-large-mnli with multi_nli ====
/Users/rak/Documents/cicd/.venv/lib/python3.10/site-packages/giskard/ml_worker/utils/network.py:57: UserWarning: You're using a pre-release version of giskard while a new version is available, please install it with: pip install "giskard==2.0.0b20"
  warning(
Downloading (…)lve/main/config.json: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.15k/1.15k [00:00<00:00, 248kB/s]
Downloading model.safetensors:  63%|█████████████████████████████████████████████████████████████████████████████████▎                                               | 1.03G/1.63G [15:01<08:48, 1.14MB/s]
Downloading model.safetensors: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.63G/1.63G [29:41<00:00, 915kB/s]
Downloading (…)okenizer_config.json: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 26.0/26.0 [00:00<00:00, 140kB/s]
Downloading (…)olve/main/vocab.json: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 899k/899k [00:01<00:00, 669kB/s]
Downloading (…)olve/main/merges.txt: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 456k/456k [00:00<00:00, 772kB/s]
Downloading (…)/main/tokenizer.json: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.36M/1.36M [00:01<00:00, 896kB/s]
Traceback (most recent call last):
  File "/Users/rak/Documents/cicd/cli.py", line 43, in <module>
    report = runner.run(**runner_kwargs)
  File "/Users/rak/Documents/cicd/giskard_cicd/pipeline/runner.py", line 35, in run
    gsk_model, gsk_dataset = loader.load_giskard_model_dataset(**kwargs)
  File "/Users/rak/Documents/cicd/giskard_cicd/loaders/huggingface_loader.py", line 53, in load_giskard_model_dataset
    feature_mapping = self._get_feature_mapping(hf_model, hf_dataset)
  File "/Users/rak/Documents/cicd/giskard_cicd/loaders/huggingface_loader.py", line 106, in _get_feature_mapping
    raise NotImplementedError(msg)
NotImplementedError: Unsupported model type.
Inokinoki commented 11 months ago

NotImplementedError

I think it's because of the supported sub task type. We are asking TextClassificationPipeline.

Inokinoki commented 7 months ago

Its tag is zero-shot-classification