Python的爬虫如何开始工作?这些插件必不可少
off999 2024-11-22 19:01 16 浏览 0 评论
在上一篇文章当中，学记曾经提到过要遵纪守法，为什么会这么说呢？
这是因为网络爬虫在目前还属于拓荒阶段，虽然互联网世界已经通过自己的游戏规则建立起一套道德规范(即Robots协议，全称是“网络爬虫排除标准”)，但法律部分还在建立和完善中，也就是说，现在这个领域暂时还是灰色地带。
在程序员当中流传着一句戏言“爬虫写的好，监狱进的早。”当然，这只是一句玩笑而已。
虽然真的有因为爬虫进了监狱的程序员，甚至是整个公司都被查封，不过，那只是个例而已。
如果爬虫就像浏览器一样获取的是公开显示的数据而不是网站后台的私密敏感信息，就不用太担心法律法规的约束，因为目前大数据产业链的发展速度远远超过了法律的完善程度。
不过即使法律并未规定，在爬取网站的时候，程序员也应该限制自己的爬虫遵守Robots协议，同时限制网络爬虫程序的抓取数据的速度。
在使用数据的时候，必须要尊重网站的知识产权。如果违反了这些规定，就很有可能吃官司。
说了这么多，我们进入正题：开始进行爬虫学习的前期准备工作。
工欲善其事，必先利其器。
在进行Python爬虫的学习之前，我们先要将工具准备齐全，安装一些插件，安装一些软件。
Chrome Developer Tools：谷歌浏览器内置的开发者工具。
最方面的调用方法就是在打开的网页按一下F12键。
POSTMAN：功能强大的网页调试与RESTful请求工具。
上述的两个程序只需要调用即可，而下面凡是带有 pip字眼的插件都需要我们自己打开CMD.EXE 进行下载。
在菜单栏里搜索栏那里输入即可打开cmd，在其后输入相关的命令行即可下载。
当下载出现错误时，可能是因为网络连接中断，在这种时候可以再次输入下载字符，然后按下回车键。
HTTPie：命令行HTTP客户端。
pip3 install httpie（命令行）
BuiltWith：识别网站所用技术的工具。
pip3 install builtwith（命令行）
python-whois：查询网站所有者的工具。
pip3 install python-whois（命令行）
robotparser：解析robots.txt的工具
上面所有的程序与插件准备好之后，我们可以先来简单的了解一下爬虫的工作流程。
一般来说，爬虫的工作流程包括以下几个步骤：
1.设定抓取目标并获取网页。
2.当服务器无法访问时，按照指定的重试次数尝试重新下载页面。
3.在需要的时候设置用户代理或隐藏真实IP，否则可能无法访问页面。
4.对获取的页面进行必要的解码操作然后抓取出需要的信息。
5.在获取的页面中通过某种方式抽取出页面中的链接信息。
6.对链接进行进一步的处理。
7.将有用的信息进行存储以备后续的处理。
这些就是爬虫的基础工作流程。
如果想学习更多科技知识，可以点击关注。
如果对文章中的内容有什么困惑的地方，可以在评论区提出自己的问题，学记同大家一起交流，解决各种问题，一起进步。
青年学记 陪伴着各位青年
作者：青年学记 一名不断进步的程序猿
一起学习 一起进步
走向自立
相关推荐
- Python开发管理神器--UV 使用教程:从安装到项目管理
-
UV是一个用Rust编写的高效Python包和项目管理工具，提供了比传统工具更快的速度和更强的功能。本文将指导你如何使用UV从安装到运行一个Python项目。重点：它可以独立安装，可...
- python入门-Day 26: 优化与调试（python优化方法）
-
优化与调试，内容包括处理模型运行中的常见问题（内存、依赖）、调整参数（如最大生成长度），以及练习改进Day25的文本生成结果。我会设计一个结构化的任务，帮助你掌握优化和调试技巧，同时提升模型性能...
- Python安装（python安装发生严重错误）
-
Windows系统1.安装python1.1下载Python安装包打开官方网站：https://www.python.org/downloads/点击"DownloadPython3.1...
- UV 上手指南:Python 项目环境/包管理新选择
-
如果你是一位Python开发者，曾因pipinstall的安装速度而感到沮丧，或者希望Python的依赖管理能够像Node.js那样高效顺滑，那么UV可能正是你所需要的工具。UV...
- uv——Python开发栈中的高效全能小工具
-
每天写Python代码的同学，肯定都离不开pip、virtualenv、Poetry等基础工具，但是对这些工具可能是又恨又离不开。那么有什么好的替代呢，虫虫今天就给大家介绍一个替代他们的小工具uv，一...
- 使用Refurb让你的Python代码更加优秀
-
还在担心你写的Python代码是否专业，是否符合规范吗？这里介绍一个Python代码优化库Refurb，使用它可以给你的代码提出更加专业的建议，让你的代码更加的可读，规范和专业。下面简单介绍这个库的使...
- 【ai】dify+python开发AI八字排盘插件
-
Dify插件是什么？你可以将Dify插件想象成赋予AI应用增强感知和执行能力的模块化组件。它们使得将外部服务、自定义功能以及专用工具以”即插即用”的简洁方式集成到基于Dify构建的AI...
- 零基础AI开发系列教程:Dify升级指南
-
Dify近期发布很是频繁，基本两三天一个版本。值得肯定的是优化和改进了很多问题，但是官方的升级文档有点分散，也有点乱。我这里整理了一个升级文档供大家参考，如果还没有升级到新版本的小伙伴，可以按照我的文...
- 升级到PyTorch 2.0的技巧总结（如何更新pytorch版本）
-
来源：DeepHubIMBA本文约6400字，建议阅读12分钟在本文将演示PyTorch2.0新功能的使用，以及介绍在使用它时可能遇到的一些问题。PyTorch2.0发布也有一段时间了，大家...
- dify 1.6.0版本发布解读:引入MCP支持与多项核心优化升级指南详解
-
2025年7月10日，dify发布了1.6.0版本。这是一次功能深度升级与性能优化的综合性更新，标志着dify在技术规范支持、操作体验以及系统稳定性方面迈出了重要的一步。本文将从核心新特性、功能增强、...
- Python教程(十四):列表(List)（python列表方法总结）
-
昨天，我们学习了变量作用域，理解了局部和全局变量的概念。今天，我们将开始探索Python的数据结构，从最常用的**列表(List)**开始。列表是Python中最灵活、最常用的数据结构，它可以存储不同...
- Python列表操作（python列表有哪些基本操作）
-
Python添加列表4分钟阅读在Python操作列表有各种方法。例如–简单地将一个列表的元素附加到for循环中另一个列表的尾部，或使用+/*运算符、列表推导、extend（）和i...
- Python字符串变形术:replace替换+join连接，10分钟掌握核心操作
-
字符串替换魔法：replace()实战手册核心价值：一键更新文本内容，精准控制替换范围#基础替换：Python变Javas="hellopython"print(s.re...
- python集合set() 数据增册改查统计序循常用方法和数学计算
-
概念特点定义和创建常用操作集合间的关系集合数学操作集合生成式遍历概念：可变、无序、不重复的序列数据容器特点：无序，不支持下标唯一性，可以删除重复数据可修改定义和创建赋值法：语法：s=｛x,....
- Python列表方法append和extend的区别
-
在Python编程中，列表是一种非常常用的数据结构。而列表有两个方法append()和extend()，它们看起来有点相似，但实际上有着明显的区别。今天咱们就来好好唠唠这俩方法到底有啥不同。基本区别a...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python字典遍历 (54)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)