admin管理员组

文章数量:1293777

文章目录

    • 说说这个网站
    • 今天要爬去的网页
      • 反爬措施展示
    • 爬取关键信息
      • 找关键因素
      • 处理汽车参数
      • 关键字破解
    • 入库操作
      • 小扩展:格式化JS
    • 思路汇总
    • 关注公众账号

说说这个网站

汽车之家,反爬神一般的存在,字体反爬的鼻祖网站,这个网站的开发团队,一定擅长前端吧,2019年4月19日开始写这篇博客,不保证这个代码可以存活到月底,希望后来爬虫coder,继续和汽车之间对抗。

CSDN上关于汽车之家的反爬文章千千万万了,但是爬虫就是这点有意思,这一刻写完,下一刻还能不能用就不知道了,所以可以一直不断有人写下去。希望今天的博客能帮你学会一个反爬技巧。

今天要爬去的网页

https://car.autohome/config/series/59.html#pvareaid=3454437
我们要做的就是爬取汽车参数配置

具体的数据如下

查看页面源代码发现,一个好玩的事情,源代码中使用了大量的CSS3的语法
下图,我标注的部分就是关键的一些数据了,大概在600行之后。

本文标签: 爬虫之家之二教科书入门教程