admin管理员组文章数量:1122849
with open('image/' + image_name, 'wb') as fp:
fp.write(items_date)
print(image_name, '下载成功！！！')
if name == ‘main’:
main()
##### 三、 爬取步骤
1. 我所使用的集成开发环境是Pycharm，首先新建一个.py文件，拥有编写代码：鼠标右键点击你的项目名称，然后new，python file ，输入自己的.py文件的名字，我的文件名字为Regular\_expression\_01，系统会自动加上.py 后缀。
2. 编写代码，代码已经在上面，同行可自取。
3. 在爬虫之前，我们需要对页面进行分析，进入糗图百科，点击热图，我们会发现这里面有我们所需要爬取的糗图。
4. 接下来我们对网页进行分析，浏览器单击鼠标右键，点击“检查”，点击"network"，再刷新页面
会出现下面的页面：
5. 接下来我们对图片地址进行分析，我们翻到第二页，看网址，发现https://www.qiushibaike/imgrank/page/是不变的，而后面会加个 “页数/”
6. 于是我们的url便可以使用如下语句写了：
这便是我们所有的网址啦，接下来就是分析每一页网页上图片的数据了
按照顺序点击：
 7. 点击Headers，进入头部信息，往下拉，找到User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36这一行，这便是浏览器发给服务器的头信息，爬虫的时候需要用到。
8. 我们再进入Elements，对网站的信息进行分析，找到图片的路径，以便爬取网站信息：
9. 我们发现，所有的图片都在class = "thumb"标签下面的img标签里，有了这个信息，就可以用正则表达式提取图片的链接了！ 正则表达式见源码！
10. 接下来就是写程序了！程序就在源码里了，需要自取哦。
##### 四、 总结
python爬虫是非常常见的数据抓取工具，用Python能够很快地爬取我们需要的数据。
##### 五、 写在最后
作为一名新手，写的文章不好，希望大家能够多多批评指正，我将不胜感激。希望大家多多支持我哦，我会努力提高自己的编程能力，给大家奉上更加优质的内容。谢谢大家！
### 关于Python技术储备
学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，Python自动化测试学习等教程。带你从零基础系统性的学好Python！
>
> 👉[[[CSDN大礼包：《python安装包&全套学习资料》免费分享]]]( )（**安全链接，放心点击**）
>
>
>
#### 一、Python大礼包
Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
#### 二、 **Python电子书**
#### 三、入门学习视频
#### 四、 **Python爬虫秘笈**
光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**
**[需要这份系统化学习资料的朋友，可以戳这里无偿获取](https://bbs.csdn/topics/618317507)**
**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
版权声明：本文标题：Python爬虫——用Pycharm写一个爬虫程序，爬取糗图百科全部糗图，室友看了直呼牛逼_pycharm创建爬虫项目 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.betaflare.com/biancheng/1726377381a1084211.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论