chiawen0104 / chn_review_aste

Automatic Construction of a Chinese Review Dataset for Aspect Sentiment Triplet Extraction via Iterative Weak Supervision
https://aclanthology.org/2024.lrec-main.167
3 stars 0 forks source link

您好,這個錯誤該怎麼解決呢? 試了好久都沒有解決,希望您可以指導一下ConnectionError: Couldn't reach https://raw.githubusercontent.com/huggingface/datasets/2.20.0/metrics/rouge/rouge.py (ConnectionError(MaxRetryError("HTTPSConnectionPool(host='raw.githubusercontent.com', port=443): Max retries exceeded with url: /huggingface/datasets/2.20.0/metrics/rouge/rouge.py (Caused by NewConnectionError('<urllib3.connection.HTTPSConnection object at 0x7f7ada656400>: Failed to establish a new connection: [Errno 111] Connection refused'))"))) #1

Open xuezhizunzhe opened 3 months ago

xuezhizunzhe commented 3 months ago

您好,這個錯誤該怎麼解決呢? 試了好久都沒有解決,希望您可以指導一下ConnectionError: Couldn't reach https://raw.githubusercontent.com/huggingface/datasets/2.20.0/metrics/rouge/rouge.py (ConnectionError(MaxRetryError("HTTPSConnectionPool(host='raw.githubusercontent.com', port=443): Max retries exceeded with url: /huggingface/datasets/2.20.0/metrics/rouge/rouge.py (Caused by NewConnectionError('<urllib3.connection.HTTPSConnection object at 0x7f7ada656400>: Failed to establish a new connection: [Errno 111] Connection refused'))")))

chiawen0104 commented 3 months ago

hi 可以提供更多資訊嗎?比如你是執行哪個檔案、哪一行出現這則錯誤?謝謝

xuezhizunzhe commented 3 months ago

謝謝您的回覆!!就是我在運行bash train.sh的時候,代碼會在mt5_aste.py文件的metric = load_metric(“rouge”)這一行報錯,於是我查了一下,是需要調用https://raw.githubusercontent.com/huggingface/datasets/2.20.0/metrics/rouge/rouge.py這個文件,然後我就把這個rouge.py文件拷貝到我的本地服務器上面,將原來的代碼改成了metric = load_metric(“metrics/rouge”),然後運行發現,不報這個錯誤了,但是那個訓練的進度條很慢很慢(就是一共16w的那個進度條),所以我想請問您,報我上面說的那個錯誤是因為什麼原因,然後我這個改了以後(不知道我這麼改對不對),進度條很慢的原因是什麼。目前這兩個問題一直困擾這我,希望您可以解答一下,萬分感謝!!

xuezhizunzhe commented 3 months ago

hi 可以提供更多資訊嗎?比如你是執行哪個檔案、哪一行出現這則錯誤?謝謝

謝謝您的回覆!!就是我在運行bash train.sh的時候,代碼會在mt5_aste.py文件的metric = load_metric(“rouge”)這一行報錯,於是我查了一下,是需要調用https://raw.githubusercontent.com/huggingface/datasets/2.20.0/metrics/rouge/rouge.py這個文件,然後我就把這個rouge.py文件拷貝到我的本地服務器上面,將原來的代碼改成了metric = load_metric(“metrics/rouge”),然後運行發現,不報這個錯誤了,但是那個訓練的進度條很慢很慢(就是一共16w的那個進度條),所以我想請問您,報我上面說的那個錯誤是因為什麼原因,然後我這個改了以後(不知道我這麼改對不對),進度條很慢的原因是什麼。目前這兩個問題一直困擾這我,希望您可以解答一下,萬分感謝!!

xuezhizunzhe commented 3 months ago

hi 可以提供更多資訊嗎?比如你是執行哪個檔案、哪一行出現這則錯誤?謝謝

chn

就是這個樣子,進度條很慢很慢,感覺就不動,幾千個小時

chiawen0104 commented 3 months ago

hi 可以提供更多資訊嗎?比如你是執行哪個檔案、哪一行出現這則錯誤?謝謝

chn 就是這個樣子,進度條很慢很慢,感覺就不動,幾千個小時

也許你可以試試看註解掉 metric = load_metric("rouge"),我看後面沒有用到 metric,進度條很慢的部分可能要用GPU加速喔

xuezhizunzhe commented 3 months ago

hi 可以提供更多資訊嗎?比如你是執行哪個檔案、哪一行出現這則錯誤?謝謝

chn 就是這個樣子,進度條很慢很慢,感覺就不動,幾千個小時

也許你可以試試看註解掉 metric = load_metric("rouge"),我看後面沒有用到 metric,進度條很慢的部分可能要用GPU加速喔

好的,萬分感謝您!我已經將那個地方註解掉了,現在代碼可以正常啟動,但是還是很慢。根據您所說需要用GPU加速,給了我很大的啟發,我再次返回在代碼中尋找,找到了這個圖中的代碼,應該是将training_args.device地方的參數修改成GPU相關的參數是嗎?再次對您表達感謝!!

22
chiawen0104 commented 3 months ago

hi 可以提供更多資訊嗎?比如你是執行哪個檔案、哪一行出現這則錯誤?謝謝

chn 就是這個樣子,進度條很慢很慢,感覺就不動,幾千個小時

也許你可以試試看註解掉 metric = load_metric("rouge"),我看後面沒有用到 metric,進度條很慢的部分可能要用GPU加速喔

好的,萬分感謝您!我已經將那個地方註解掉了,現在代碼可以正常啟動,但是還是很慢。根據您所說需要用GPU加速,給了我很大的啟發,我再次返回在代碼中尋找,找到了這個圖中的代碼,應該是将training_args.device地方的參數修改成GPU相關的參數是嗎?再次對您表達感謝!! 22

嗨,若您的環境已經設定好GPU,程式碼應該是會自動偵測到並在GPU上運行的,不需額外設定。已有 nvidia cuda 但環境還沒設定的話可以去下載 nvidia-toolkit。 設定完可用以下指令檢查:

nvidia-smi

或是透過python程式碼檢查: https://stackoverflow.com/questions/48152674/how-do-i-check-if-pytorch-is-using-the-gpu

如果您的電腦是Mac M系列晶片(沒有nvidia cuda)的使用者可透過以下指令加速 pytorch:

pip3 install --pre torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/nightly/cpu

除此之外不建議純用電腦CPU進行訓練或推理喔,感謝您的發問。