百度360必应搜狗淘宝本站头条
python类型转换python串口编程python计时python异常python进度条
当前位置：网站首页 > 技术资源 > 正文

python爬虫常用工具库总结（python爬虫工具下载）

off999 2025-06-28 15:51 38 浏览 0 评论

说起爬虫，大家可能第一时间想到的是python，今天就简单为大家介绍下pyhton常用的一些库。

请求库：实现基础Http操作

urllib:python内置基本库，实现了一系列用于操作url的功能。

requests:基于 urllib 编写的，阻塞式 HTTP 请求库，发出一个请求，一直等待服务器响应后，程序才能进行下一步处理。(
http://cn.python-requests.org/zh_CN/latest/)

selenium:自动化测试工具。一个调用浏览器的 driver，通过这个库你可以直接调用浏览器完成某些操作。(
https://www.seleniumhq.org/)

phantomjs:一个基于webkit的javascript API。（http://phantomjs.org/）

解析库：从网页中提取信息

lxml：支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高。(http://lxml.de/)

beautifulsoup4:html 和 XML 的解析,从网页中提取信息，同时拥有强大的API和多样解析方式。(
https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/)

pyquery:jQuery 的 Python 实现，能够以 jQuery 的语法来操作解析 HTML 文档，易用性和解析速度都很好。(
https://pythonhosted.org/pyquery/)

数据库：数据存储

mysql(https://dev.mysql.com/downloads/mysql/)

redis(https://redis.io/m)

mongobd(https://www.mongodb.com/)

web框架:

flask:轻量级的 web 服务程序，简单，易用，灵活，主要来做一些 API 服务。做代理时可能会用到。(
http://docs.jinkan.org/docs/flask/)

django:一个 web 服务器框架，提供了一个完整的后台管理，引擎、接口等，使用它可做一个完整网站。(
https://www.djangoproject.com/)

jupyter:能让你非常方便的在数据探索过程中有良好的实时交互效果(http://jupyter.org/)

爬虫框架

scrapy:很强大的爬虫框架，可以满足简单的页面爬取（比如可以明确获知url pattern的情况）。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面，如 weibo 的页面信息，这个框架就满足不了需求了。

crawley:高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为 JSON、XML 等。

portia:可视化爬取网页内容。

newspaper:提取新闻、文章以及内容分析。

python-goose:java 写的文章提取工具。

cola:一个分布式爬虫框架。项目整体设计有点糟，模块间耦合度较高

相关推荐

华为云会议app下载（华为云会议下载）

 华为云会议可以在PC客户端或者手机客户端上一键发起立即会议,1秒创会。然后在会中选择企业通讯录中的人加入,系统会自动呼叫这些与会人,接听后即加入会议。ZOOM是一个云会议服务平台，为客户提...

路由器重置方法（路由器重置方法详细步骤）

路由器靠近WAN口边上的有一个小孔用于路由器的重置，路由器配置完成后，我们可能会忘记他的用户名或者是密码，那么我们可以把它恢复到出厂设置，再靠近万口或电源之间，有一个小孔，用一个尖锐的金属查一下大约五...

100个有效qq号以及密码（有效qq号和密码大全）

如果你的电脑知识好的话，不妨用一些复合密码！SHIFT+一些特殊符号，字母，数字！虽然麻烦了点，但总比被人盗号了的好，是吧！最好还用手机绑定一下，这样的话方便改密码也不怕QQ被盗了哦。。。QQ密码找回...

win10家庭中文版下载官网（windows10家庭中文版下载）

你好，激活Win10家庭中文版的方法：1.购买正版Win10家庭中文版激活码，然后在计算机上输入激活码，即可完成激活。2.如果您已经安装了Win10家庭中文版，但尚未激活，可以通过以下步骤激活：-...

电脑截图在哪里找（电脑截图在哪里找图片win10）

截图默认会保存在电脑的剪贴板中，可以通过以下步骤将其保存到本地：1.打开任意一款图片软件，如Paint、Photoshop、Word等。2.按下键盘上的Ctrl+V，或者在软件菜单栏中选择&#...

电脑里一堆microsoft visual

按照系统向下兼容原理，保留2010就可以了.1）你安装的时候是不是把创建快捷键的选项框都没选上，导致在开始菜单中没有找到相应的链接？2）去你的安装目录下，找到Microsoftvisualc++...

windows无法识别usb（windows无法识别usb设备）
windows无法识别usb（windows无法识别usb设备）

Windows无法识别USB，解决办法如下右键开始菜单打开设备管理器，在通用串行总线控制器中右键点击设备选择“卸载”，完成后重新启动计算机即可解决问题。这有可能是在组策略中禁用了USB口，可以使用快捷键【Win+R】运行gpedit.msc...

2025-11-10 11:51 off999

bios能看到硬盘 开机找不到硬盘

bios里可以看到硬盘，说明硬盘已经被主板识别。进系统找不到，可能硬盘没分区，或者硬盘是动态磁盘，还没有导入或激活。按win+r，输入diskmgmt.msc回车，就打开磁盘管理了，在里面可以给新硬盘...

找回qq聊天记录的方法（找回qq聊天记录怎么找）
  • 找回qq聊天记录的方法（找回qq聊天记录怎么找）
  • 找回qq聊天记录的方法（找回qq聊天记录怎么找）
  • 找回qq聊天记录的方法（找回qq聊天记录怎么找）
  • 找回qq聊天记录的方法（找回qq聊天记录怎么找）
无线网有个红叉（无线网有个红叉,搜索不到网络）

连接失败，路由坏换路由，外网坏，报修无线网络处出现红叉表示设备无法正常工作。请检查网卡驱动是否正常，无线网络开关是否打开。解决方法：查看电脑是否有无线网络开关，且是否打开。进入设备管理器检查网卡驱动是...

thinkpad笔记本官网首页（thinkpad官方商城）

官方网站　国内：http://www.thinkworld.com.cn　　　国内用户只需要访问国内即可。　　ThinkPad，中文名为“思考本”，在2005年以前是IBMPC事业部旗下的便携式计算机...

win7什么版本最好用（win7哪个版本最稳定流畅）

Windows7旗舰版，最好，最稳定。Windows7,是由微软公司（Microsoft）开发的操作系统，内核版本号为WindowsNT6.1。Windows7可供选择的版本有：简易版（Sta...

win7自带虚拟光驱怎么使用（win7系统虚拟光驱安装教程）

以DAEMONTools为例,360软件管家里面就有最新版的下.安装后使用方法如下:第一种方法：在虚拟光驱界面中,你先按一下中间工具栏最左边“+”符号的按钮，添加镜像文件（可以一次添加多个），这...

电脑装系统蓝屏（电脑装系统蓝屏重启开不了机）

蓝屏的原因往往集中在不兼容的硬件和驱动程序、有问题的软件、病毒等。解决办法：1、病毒的原因。使用电脑管家杀毒。2、内存的原因。用橡皮擦把内存条的金手指擦拭一下，把氧化层擦掉，确保内存条安装、运行正常。...

u盘安装软件（u盘安装软件到电视）

第一种情况：软件安装包可以直接下载的。在电脑上将软件安装包下载到本地硬盘，然后将下载好软件安装包拷贝到U盘上即可拿到别的电脑上去安装。分可为exe格式的和rar格式，exe格式直接安装，rar格式的解...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表
Copyright Your WebSite.Some Rights Reserved.