爬虫大佬进来看看呀
- vistorli最近在做老师布置的无厘头任务,要我调查科研杂志里用了什么试剂。调查的网站是https://pubs.acs.org/toc/jacsat/141/51(以这个为例),我要做的就是点进去每篇文章,下载每篇文章的supporting info(下载这个不用登陆)
一篇篇下载手已经抽筋。所以想通过爬虫实现。恶补了几天爬虫知识后,以我粗鄙的爬虫技术,终于发现,这个网站是反爬的,我加了UA还是能识别我是robot。
我想请教大神帮我看看这个网站的反爬有多厉害,菜鸟级别的我还有必要花时间继续学爬虫来爬它吗,骗过他那不难? - oldkingdog不难啊
- vistorli
- 鱼儿的小池塘
- vistorli
- 忙碌忙碌用selenium试试
- vistorli