求助:使用 Hugingface Transformers 框架时的 SSL Error

359 天前
 Redish101
对于如下代码
``` python
import ssl
ssl._create_default_https_context = ssl._create_unverified_context

from datasets import load_dataset

dataset = load_dataset("yelp_review_full")
dataset["train"][100]

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")

def tokenize_function(examples):
return tokenizer(examples["text"], padding="max_length", truncation=True)

tokenized_datasets = dataset.map(tokenize_function, batched=True)

from transformers import AutoModelForSequenceClassification

model = AutoModelForSequenceClassification.from_pretrained("bert-base-cased", num_labels=5)

from transformers import TrainingArguments

training_args = TrainingArguments(output_dir="test_trainer")
```
我在使用 transformers 框架时出现了 ssl 问题,如下:
```
Traceback (most recent call last):
File "/Users/luojiayun/Desktop/transformers/rerate_chn.py", line 6, in <module>
dataset = load_dataset("yelp_review_full")
File "/Users/luojiayun/anaconda3/lib/python3.10/site-packages/datasets/load.py", line 2519, in load_dataset
builder_instance = load_dataset_builder(
File "/Users/luojiayun/anaconda3/lib/python3.10/site-packages/datasets/load.py", line 2192, in load_dataset_builder
dataset_module = dataset_module_factory(
File "/Users/luojiayun/anaconda3/lib/python3.10/site-packages/datasets/load.py", line 1843, in dataset_module_factory
raise e1 from None
File "/Users/luojiayun/anaconda3/lib/python3.10/site-packages/datasets/load.py", line 1779, in dataset_module_factory
raise ConnectionError(f"Couldn't reach '{path}' on the Hub ({type(e).__name__})")
ConnectionError: Couldn't reach 'yelp_review_full' on the Hub (SSLError)
```
根据 StackOverflow 上的方法,我在代码头部新增了:
```
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
```
但无法解决问题。
我使用了 dev-sidecar ,已经按照提示添加了根证书,是否与此有关?
若不是,请问有没有朋友能够指明解决方法,感激不尽。
768 次点击
所在节点    问与答
4 条回复
gzxwhut
358 天前
1.大概率是网络问题,挂下梯子试一下 2.dataloader 支持本地文件,你可以手动把 dataset 拉下来放本地,load 的时候改成本地磁盘物理地址
ssguozz
358 天前
初步猜测是 Hugingface 的网络问题,建议手动下载数据集和模型到本地,再指定加载本地目录
Redish101
358 天前
请问有无不用下载到本地的解决办法
Redish101
358 天前
@gzxwhut huggingface 在浏览器和终端环境下均能联通,应该是单纯的 ssl 问题,我尝试禁用 ssl 验证,但是似乎没有效果

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1003347

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX