线上问题:FastAPI和trafilatura出现ValueError: signal only works in main thread of the main interpreter

博客详细描述了一个使用FastAPI和trafilatura时遇到的问题,即在非主线程中调用signal方法导致ValueError。分析了Python 3.8以上版本的限制以及trafilatura第三方库的源码,指出trafilatura的超时设置(EXTRACTION_TIMEOUT)可能导致这个问题。解决方案是将trafilatura的超时时间配置为0,以防止在非主线程中调用signal。此外,还提供了trafilatura官方的解决方案链接和Flask的取消reload模式建议。

1 场景复现

相关工具及版本:
fastapi==0.95.0
trafilatura==1.5.0
python==3.10
使用FastAPI开发获取URL内容的接口:
抛出的异常如下:

File “/app/src/utils/file_process_util.py”, line 66, in request_data_from_url
text = trafilatura.extract(source_data)
File “/usr/local/lib/python3.10/site-packages/trafilatura/core.py”, line 1050, in extract
signal(SIGALRM, timeout_handler)
File “/usr/local/lib/python3.10/signal.py”, line 56, in signal
handler = _signal.signal(_enum_to_int(signalnum), _enum_to_int(handler))
ValueError: signal only works in main thread of the main interpreter

2 代码

import  trafila
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

天然玩家

坚持才能做到极致

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值