关于：合理の话题！

我这个半手动爬虫方案合理吗

• 果味纯氧 发布于 2021-11-19 15:50
• 收藏 合理 手动 方案 爬虫 这个

考虑到爬虫的稳定性还需要测试，如果写成多线程，会增加系统不稳定。目前解决方案是，利用pycharm本身的run功能，同时运行多个相同脚本（类似开多个窗口）。（用redis共享待抓取列。）类似这样的“分布式方案”不知道是否合理？有没有更好的办法？..