Skip to content

Commit

Permalink
📃 docs(readme): update issues doc
Browse files Browse the repository at this point in the history
  • Loading branch information
iiicebearrr committed Jan 18, 2024
1 parent 798b33a commit 6f6204b
Showing 1 changed file with 3 additions and 3 deletions.
6 changes: 3 additions & 3 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -129,6 +129,6 @@ pip install spiders-for-all # python 版本 >= 3.12

# Known Issues

- [ ] 小红书爬取用户投稿的笔记时, 由于小红书签名算法的问题尚未解决, 只能爬取用户投稿的首页数据, 需要下拉加载的数据暂时无法爬取
- [ ] 低版本的sqlite可能不支持`ON CONFLICT DO UPDATE`语法, 如果遇到该问题请尝试升级sqlite版本
- [ ] 大批量下载视频时可能偶现下载中断导致失败的情况, 这种情况请在所有任务下载完成后, 运行`grep ERROR logs/bilibili.log`可以查看有哪些视频下载失败, 然后收集bvid重新下载即可。未来会考虑处理这种情况
- [ ] 小红书爬取用户投稿的笔记时, 由于小红书签名算法的问题尚未解决, 只能爬取用户投稿的首页数据, 需要下拉加载的数据暂时无法爬取(**由于xhs接口的解密成本较高, 该功能暂时不会考虑添加到本仓库中,有这个需求的用户可以参考一下其他作者的实现,再通过`client.update`的方式修改headers和cookies来进行调用**)
- [x] 低版本的sqlite可能不支持`ON CONFLICT DO UPDATE`语法, 如果遇到该问题请尝试升级sqlite版本
- [x] 大批量下载视频时可能偶现下载中断导致失败的情况, 这种情况请在所有任务下载完成后, 运行`grep ERROR logs/bilibili.log`可以查看有哪些视频下载失败, 然后收集bvid重新下载即可。未来会考虑处理这种情况

0 comments on commit 6f6204b

Please sign in to comment.