百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

python网络爬虫:批量爬取图片 python批量爬取图片并保存

off999 2024-12-15 16:04 33 浏览 0 评论

本文主要运用BeautifulSoup库进行图片网站的图片爬取.

python版本:3.8.5, 爬取时间:2022/8/3

共分三大步:

第一大步:找个简单点的图片网站

第二大步:获取网站的源代码,从中获取图片地址

第三大步:下载图片

代码如下


运行结果

代码所在行的6个小小知识点:

第7行: 请求头里面的User-Agent,简称UA,可以使服务器识别客户端使用的操作系统-版本,以及浏览器-版本 等信息. 加上这个伪装成浏览器对服务器发出请求.要不然有一部分服务器识别出是脚本发出的请求就会拒绝响应.

第11行: 我们自己用的,默认是utf-8编码方式,有的网页不是这种,就需要编码. 查看网页使用的哪种编码方式,看charset后面的字符.

第13行: 不加入html.parser参数,BS库就不知道需要解析哪种数据文本,虽然会默认解析html,但BS还是会在运行的时候提醒你,如下图. 有html.parser就是告诉BS解析html文本,它也就不会提醒你了.


第16行: html页面标签中的属性名称是class时,因为class是python中的关键字,直接使用可能会发生错误,所以可以写成class_形式,或者跟代码中一样,把属性名称和属性弄成字典并且字典名为attrs(注意attrs名称是固定的)


第30行,导入time模块后,结合.sleep就设置了下载的时间间隔为1秒.要是单位时间内下载量过大,容易把简易网站的服务器弄崩溃.

第33行,这是跟第30行一样重要的东西了.有时候我们编写完爬虫文件后,要关闭pycharm时,它会提醒我们某某文件正在运行,要关闭吗? 原因就是某些文件里面的爬虫程序还在向服务器不断的发送请求,而这些请求不会自动关闭,所以我们仅仅是出于单次学习目的的话,养成在代码结尾写上

"响应".close()

的习惯.


结尾: 一些网站的反爬手段更新极快,且增强了数据保护意识,导致网络上的爬虫教学资源大多数都没法用了.警惕智商税,且行且珍惜.

相关推荐

恢复出厂设置对电脑有影响吗

电脑恢复出厂设置,对系统没有影响,原因如下:1、系统还原是电脑在使用中的一种正常运作,不还原电脑无法正常运行,系统还原是对电脑的维护,不会对电脑或系统造成损害。2、系统还原是一次大容量的数据读写、清除...

注册邮箱163免费登录入口官网

注册网易邮箱账号步骤如下:1、在浏览器的地址栏输入http://email.163.com/进入网易邮箱的登录页面,点击页面下方的立即注册2、点击立即注册进入邮箱的注册页面,点击页面上面的注册字母邮箱...

产品密钥win10专业版激活密钥免费

1不存在永久激活密钥,但可以使用一些有效期长的密钥去激活Win10专业版。2Windows10的激活方式是基于数字权利,当你购买Windows10时,系统会将您电脑的硬件信息和购买记录绑定在一起...

ghostxp系统下载怎么安装教程

系统之家下载的XP系统通常是一个ISO镜像文件,安装这个系统需要通过一些步骤来制作可启动安装介质并进行系统安装。以下是安装的基本步骤:准备安装介质:使用工具如Rufus或AnyBurn将下载的ISO文...

无线网桥监控安装方法(无线网桥怎么连接监控)

网桥连接无线路由器安装的设置方法如下1.主路由器上网正常,副路由器LAN口插一根网线,另一头连接电脑。主副路由器不需要用网线连接。2.电脑开机输入副路由器背面的设置地址,进入登录界面输入背面的账号密码...

怎么对电脑文件夹加密(怎么对电脑文件夹加密码)

1.右键点要加密的文件或文件夹,然后单击“属性”;2.在“常规”选项卡,点击“高级”。选中“加密内容以便保护数据”复选框;3.在加密文件夹时,系统将询问是否要同时加密它的子文件夹。要如果选择是,那它的...

windows系统下载手机(win10下载手机)

OPPO手机重新下载安装系统:先备份好重要数据!然后手机连接电脑把下载的固件存入手机。然后再长按电源键十秒钟进入关机状态(可拆卸电板的需取下电板然后重新安装)。再同时按住电源键跟音量减键,进入reco...

电脑系统分区怎么分(电脑系统分区怎么分区)

分区是将硬盘分割成不同的逻辑部分,每个分区可以被视为一个独立的存储设备。通过分区,可以更好地管理数据和操作系统。要进行电脑分区,可以按照以下步骤进行:1.确定分区方案:首先需要确定分区的目的和需求。...

电脑显卡怎么选择(电脑显卡怎样选择)

以下是一些通用的方法:1.在硬件层面进行配置:首先需要确认您的主板和操作系统是否支持多GPU并行,以及您的电源是否提供足够的功率支持。在BIOS中启用多GPU选项,并安装正确的驱动程序。然后,通...

设置软件下载(设置软件下载入口)

iphone13app的下载设置1、首先,打开手机桌面的【设置】。2、在设置界面,点击【面容ID与密码】。3、这时设置了键盘锁的会要求你输入键盘锁密码进入。4、进入之后,找到【iTunesStore...

电脑麦克风插孔是哪个(电脑麦克风插那)

1.蓝色的为音频输入口。一般的电脑后面都有三个音频接口:蓝色是音频输入,绿色是音频输出,粉红色麦克风。  2.音频输入(蓝色),为外接光驱.随身听及其它音频输入设备,即可以把外部的设备声音传送至电脑...

ie浏览器打不开网页怎么修复

第一步:打开“运行”输入—〉cmd—〉回车然后把下面这行字符复制到黑色cmd框里面去回车等待dll文件全部注册完成就关闭可以了(下面是要运行的代码):for%1in(%windir%\syste...

mail163邮箱登录入口网页版(mail163手机邮箱登录)

1.首先你要开启网易的POP3/SMTP/IMAP。2.设置完之后你需要网易的客户端授权密码。3.密码会发送至你的绑定手机。4.用发给你的客户端授权密码登录第三方客户端(ios客户端)5.直接登陆,储...

微信一键恢复(微信一键恢复已删好友怎么操作)
  • 微信一键恢复(微信一键恢复已删好友怎么操作)
  • 微信一键恢复(微信一键恢复已删好友怎么操作)
  • 微信一键恢复(微信一键恢复已删好友怎么操作)
  • 微信一键恢复(微信一键恢复已删好友怎么操作)
win7系统序列号怎么查(win7电脑的序列号怎么查)

你可以在cmd命令行窗口中输入以下相关命令,可以得到你要的信息查找主板厂商输入:wmicBaseBoardgetManufacturer查找主板型号输入:wmicBaseBoardgetP...

取消回复欢迎 发表评论: