python爬虫资源汇总:书单、网站博客、框架、工具、项目（附资源）

尽管食腐并非两门非主流控制技术，但因其截取速度慢和统计数据产品质量班莱班县三大特征而受愈来愈多的人青睐，网络黄金时代，有食腐控制技术的护持对婚恋人而言毫无疑问是Toothukudi。

随著食腐控制技术的盛行，网路上的天然资源不断涌现，但对新手来说，可能将无法优先选择，假如看错还会在食腐自学上走许多急弯。

他们专门针对特别针对零此基础的老师做了这份python食腐天然资源汇整，包涵引文、中文网站网志、架构、辅助工具和工程项目汇整。再者为何优先选择python词汇，原因在于python对阿宝而言更容易上手。

– 必读引文 –

不须要一堆引文和讲义，有关python食腐，看这8两本书就够了。

  01  

《Python程式设计：从进阶到课堂教学》

新浪网打分：9.1

两本书是一本特别针对所有层次的Python 读者而作的Python 进阶书。

全书分两部分：第一部分介绍用Python 程式设计所必须了解的基本概念，第二部分将理论付诸课堂教学，讲解如何开发三个工程项目。

  02  

《Python程式设计快速上手》

新浪网打分：9.0

两本书是一本面向课堂教学的Python程式设计实用指南。不仅介绍Python词汇的此基础知识，而且还通过工程项目课堂教学教会读者如何应用这些知识和技能。

  03  

《像计算机科学家一样思考Python》

新浪网打分：8.7

本书以培养读者以计算机科学家一样的思维方式来理解Python词汇程式设计，这是一本实用的自学指南，适合没有Python程式设计经验的程序员阅读。

  04  

《“笨方法”学Python》

新浪网打分：7.9

两本书非常适合想通过词汇的核心来自学Python程式设计的新手。你将通过完成52个精心设计的习题来学会Python。

  05  

《Python Cookbook 中文版》

新浪网打分：9.2

两本书覆盖了Python应用中的很多常见问题，并提出了通用的解决方案。

书中包涵了大量实用的程式设计技巧和示例代码，非常适合具有一定程式设计此基础的Python程序员阅读。

  06  

《流畅的python》

新浪网打分：9.4

从词汇设计层面剖析程式设计细节，兼顾Python 3和Python 2。

告诉你Python中不亲自动手课堂教学就无法理解的词汇陷阱成因和解决之道，教你写出风格地道的Python代码。

  07  

《深入浅出python》

新浪网打分：8.5

如果你想要自学Python程式设计的此基础知识，并且不想要看一堆乏味难懂的书籍和讲义。那么Paul Barry的《Head First Python》就是你的不二之选。

  08  

《python3 网络食腐开发实战》

新浪网打分：9.0

全面介绍了利用 Python3 开发网络食腐的知识.

从各种类型的环境配置和食腐此基础知识出发，配合新鲜案例进行统计数据爬取，还教授许多食腐技巧，是一本很好的实战书籍。

/

他们已经将以上提及的引文天然资源进行了打包

食腐引文”即可领取

/

– 中文网站网志 –

  01  

awesome-python-login-model

该工程项目收集了许多各大中文网站登陆方式和许多中文网站的食腐程序，用于研究和分享各大中文网站的模拟登陆方式和食腐程序。

网址：https://awesome-python

  02  

《Python3网络食腐开发实战》作者网志

《python3网络食腐与开发实战》作者，在此网志上面分享许多自己的食腐案例和心得，内容非常丰富。

网址：https://cuiqingcai.com

  03  

Scraping.pro是一个专业的采集软件测评中文网站，上面有各种国外比较顶尖的采集软件测评文，比如scrapy、octoparse等

网址：http://www.scraping.com/

  04  

Kdnuggets

相比scraping.pro，Kdnuggets涵盖范围更广，包括商业分析、大统计数据、统计数据挖掘、统计数据科学等。

网址：https://www.kdnuggets.com/

  05  

Octoparse

Octoparse是一款功能强大的免费采集软件，它的网志提供的内容比较广，浅显易懂，比较适合初步的中文网站采集用户。

网址：https://www.octoparse.com

  06  

Big Data News

Big data news和Kdnuggets类似，涵盖的范围主要是在大统计数据行业方面，中文网站采集是其下面的一个子栏目。

网址：https://www.bigdatanews

  07  

Analytics Vidhya

跟Big data news类似，Analytics Vidhya是一个更专业的统计数据采集中文网站，内容涵盖统计数据科学、机器自学、中文网站采集等。

网址：https://www.analyticsvidhya

– 食腐架构 –

  01  

Scrapy

是一个为了爬取中文网站统计数据，提取结构性统计数据而编写的应用架构。可以应用在包括统计数据挖掘，信息处理或存储历史统计数据等一系列的程序中。

网址：https://scrapy.org

  02  

PySpider

pyspider 是一个用python实现的功能强大的网络食腐系统，能在浏览器界面上进行脚本的编写，功能的调度和爬取结果的实时查看.

后端使用常用的统计数据库进行爬取结果的存储，还能定时设置任务与任务优先级等。

网址：https://pyspider

  03  

Crawley

Crawley可以高速爬取对应中文网站的内容，支持关系和非关系统计数据库，统计数据可以导出为JSON、XML等。

网址：http://crawley-cloud.com/

  04  

Portia

Portia是一个开源可视化食腐辅助工具，可让您在不须要任何程式设计知识的情况下爬取中文网站！

网址：https://portia

  05  

Newspaper

Newspaper可以用来提取新闻、文章和内容分析。使用多线程，支持10多种词汇等。

网址：https://newspaper

  06  

Beautiful Soup 是一个可以从HTML或XML文件中提取统计数据的Python库。

它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式。

网址：https://BeautifulSoup/bs4/doc/

  07  

Grab

Grab是一个用于构建Web刮板的Python架构。

您可以构建各种复杂的网页截取辅助工具，从简单的5行脚本到处理数百万个网页的复杂异步中文网站截取辅助工具。

网址：http://grab-spider-user-manual

  08  

Cola

Cola是一个分布

工程项目地址：https://github.com/chineking/cola

– 辅助工具 –

  01  

4个HTTP代理辅助工具

(1)Fiddler

Fiddler 是 Windows 平台最好用的可视化抓包辅助工具，也是大家最熟知的 HTTP 代理辅助工具。

功能非常强大，除了可以清晰的了解每个请求与响应之外，还可以进行断点设置，修改请求统计数据、拦截响应内容。

链接：https://www.telerik.com/fiddler

(2)Charles

Charles 是 macOS 平台下最好用的抓包分析辅助工具之一。

同样提供GUI界面，界面简洁，基本功能包括HTTP、HTTPS 请求抓包，支持请求参数的修改，最新的 Charles 4 还支持 HTTP/2。

链接：https://www.charlesproxy.com/

(3)AnyProxy

AnyProxy 是 阿里巴巴开源的 HTTP 抓包辅助工具，基于 NodeJS 实现。

优点是支持二次开发，可自定义请求处理逻辑，假如你会写JS的话，同时须要做许多自定义的处理，那么AnyProxy 是非常适合的。

GitHub地址：https://alibaba/anyproxy

(4)mitmproxy

mitmproxy 是一款基于 Python，支持 SSL 的抓包辅助工具。它是跨平台的，而且提供的是命令行交互模式。

GitHub 地址：https://mitmproxy/

  02  

python食腐辅助工具汇整

这是有关python食腐的辅助工具汇整，只要你能想到的几乎都能在这儿找到。

网址：https://lartpang/spyder_tool

  03  

httpbin

此中文网站可以用作食腐的测试（http和https），会返回食腐机器的许多信息，也可以做在线测试。

网址：httpbin.org

  04  

curl to python

网址：https://curl.trillworks.com

  05  

在线转换

有时他们在网页上看到是中文，但查看网页源码时显示的是unicode字符，此时须要在线unicode字符转中文。

网址：https://unicode_chinese/

  06  

XPath Helper

此辅助工具是chrome的扩展程序，用于辅助分析和调试xpath。

链接：https://xpath-helper/

  07  

JavaScript Toggle On and Off

此辅助工具为chrome扩展程序，用于检测目标中文网站哪些元素是通过JS加载的。

网址：https://toggle-on-and-off

  08  

EditThisCookie

此辅助工具为chrome扩展程序，可对目标中文网站的cookies进行任意的操作，具体详细的用法可查看上面提供的官方文档。

网址：Getting Started with EditThisCookie

  09  

Postman

官方推荐使用本地应用程序代替chrome的扩展程序，因此只需在官网下载安装包即可。

Postman是一款web调试和测试的辅助工具，请求参数完全由自己控制，可模拟几乎所有类型的http请求。

网址：Postman

10

 代理ip检测

做食腐时，很多时候须要用到代理ip，此中文网站可以查看代理是否可用，代理ip的匿名程度，地点等信息。

网址：proxyhttp.net/check

– 工程项目上手 –

作为两门控制技术，知晓了方法，想要掌握的秘诀就是训练，那么通过工程项目来练手就非常重要了。

既然书读百遍奇异自现，那食腐百遍，相信你也能找到食腐的通用套路和技巧。

01

网址：https://WechatSogou

02

新浪网读书食腐

可以爬下新浪网读书标签下的所有图书，按打分排名依次存储，存储到Excel中。

网址：https://DouBanSpider

03

知乎食腐

此工程项目的功能是爬取知乎用户信息和人际拓扑关系，食腐架构使用scrapy，统计数据存储使用mongo

网址：https://zhihu_spider

04

哔哩哔哩食腐

爬取B站用户统计数据并生成B站用户统计数据报告。

网址：https://bilibili-user

05

新浪微博食腐

网址：https://SinaSpider

06

小说食腐

使用scrapy,Redis, MongoDB,graphite实现的一个分布式网络食腐。

网址：https://distribute_crawler

07

中国知网食腐

中国知网食腐，设置检索条件后，执行src/CnkiSpider.py截取统计数据，截取统计数据存储在/data目录下，每个统计数据文件的第一行为字段名称。

网址：https://CnkiSpider

08

链家食腐

爬取北京地区链家历年二手房成交记录。涵盖链家食腐一文的全部代码，包括链家模拟登录代码。

网址：https://LianJiaSpider

09

京东食腐

基于scrapy的京东中文网站食腐，保存格式为csv。

网址：https://scrapy_jingdong

10

 QQ群食腐

批量截取 QQ 群信息，包括群名称、群号、群人数、群主、群简介等内容，最终生成 XLS(X) / CSV 结果文件。

网址：https://QQ-Groups-Spider

11

QQ空间食腐

包括日志、说说、个人信息等，一天可截取 400 万条统计数据。

网址：https://QQSpider

12

hao123食腐

以hao123为入口页面，滚动爬取外链，收集网址，并记录网址上的内链和外链数目，记录title等信息，windows7 32位上测试，目前每24个小时，可收集统计数据为10万左右。

网址：https://sdfzy/spider

13

机票食腐

Findtrip是一个基于Scrapy的机票食腐，目前整合了国内三大机票中文网站（去哪儿 + 携程）。

网址：https://findtrip

14

新浪网食腐集

新浪网电影、书籍、小组、相册、东西等食腐集。

网址：https://doubanspiders

15

mp3食腐

百度mp3全站食腐，使用redis支持断点续传。

网址：https://baidu-music-spider

16

淘宝天猫食腐

可以根据搜索关键词,物品id来抓去页面的信息，统计数据存储在mongodb。

网址：https://tbcrawler

17

股票食腐

一个股票统计数据（沪深）食腐和选股策略测试架构根据选定的日期范围截取所有沪深两市股票的行情统计数据。

支持使用表达式定义选股策略。支持多线程处理。保存统计数据到JSON文件、CSV文件。

网址：https://stockholm

18

百度云食腐

爬取百度云盘天然资源。

网址：https://BaiduyunSpider

19

社交统计数据食腐

支持微博,知乎,新浪网。

网址：https://Qutan/Spider

20

ip池食腐

Python食腐代理IP池(proxy pool)。

网址：https://proxy_pool

21

网易云食腐

爬取网易云音乐所有歌曲的评论。

网址：https://music-163

22

图片食腐

爬取煎蛋妹纸图片。

网址：https://jandan_spider

23

cnblogs食腐

爬取cnblogs列表页。

网址：https://CnblogsSpider

24

慕课网食腐

爬取慕课网视频。

网址：https://spider_smooc

25

知道创宇食腐

知道创宇食腐题目

网址：https://knowsecSpider2

26

图片食腐

爱丝APP图片食腐。

网址：https://aiss-spider

27

新浪食腐

动态IP解决新浪的反食腐机制，快速截取内容。

网址：https://SinaSpider

28

csdn食腐

爬取CSDN上的网志文章。

网址：https://csdn-spider

29

proxy食腐

爬取proxy上的代理IP，并验证代理可用性。

网址：https://ProxySpider

30

乌云食腐

乌云公开漏洞、知识库食腐和搜索。

网址：https://wooyun_public

DC黑板报（DataCastle-VIP）食腐引文”即可

往 期 推 荐

壹

python食腐，自学路径拆解及天然资源推荐

贰

这些不用程式设计的食腐辅助工具，你一定要知道

叁

python自测100题，还愁找不到工作？