爬虫程序 3.6.2 版本已经开始支持通过设置 HTTP 代理来助力小说数据采集了。
代理默认关闭,如果需要开启则修改 novel-crawl/config/application-common-prod.yml
文件中的 HTTP 代理配置。
1 | # HTTP 代理配置 |
如果 application-common-prod.yml 文件中没有以上配置,则手动加入以上配置到 application-common-prod.yml 文件末尾。
代理 IP 可以使用免费的也可以使用付费的,已实验过快代理(👉 立即前往)提供的免费代理和付费隧道代理试用(新用户可以试用 4 个小时,只需要设置一个固定IP,云端会自动切换IP,每次请求都会自动转发到不同IP)。
获取上图中的隧道host和HTTP端口填入上面的application-common-prod.yml
文件中即可。