开发爬虫程序,如果不做代理设置,本机的外网IP很容易被网站封掉,导致不能持续进行数据抓取。而Selenium作为页抓取的利器,我们有必要了解一下,如何对它进行代理设置,并正常访问网页。
我们之前测试要为ChromeDriver设定Proxy时有遇到许多困难,需要使用Chrome Extension的管道设定Proxy才成功,以上希望能让您比较好了解。返回搜狐,查看更多
开发爬虫程序,如果不做代理设置,本机的外网IP很容易被网站封掉,导致不能持续进行数据抓取。而Selenium作为页抓取的利器,我们有必要了解一下,如何对它进行代理设置,并正常访问网页。
我们之前测试要为ChromeDriver设定Proxy时有遇到许多困难,需要使用Chrome Extension的管道设定Proxy才成功,以上希望能让您比较好了解。返回搜狐,查看更多
发表评论:
◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。