百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

学习Python的第45天,我终于彻底明白怎么安装爬虫需要的模块了

off999 2024-10-02 18:40 35 浏览 0 评论

终于开始跟着老师开始一起输入代码。

没想到一上来就遇到问题。

用 # 备注,之前黑马课程讲 # 后面是要有个空格的,而这个老师全都是没有的。

咱也不知道该听谁的,而不加空格的话 萍、PyCharm 会有下划线提示,索性,那就都加上吧。

这行代码 if __name__ == "__main__: 老师称为程序的入口。

也就是在查看代码时候,一看到这句话,就知道是从这行代码开始执行的,中间不会再有其他的执行点。

引入模块

讲述模块的概念,这个在之前黑马的课程学习过,轻松加愉快了。

跟之前的课程区别在于,他是在一个文件夹下 新建py文件 进行说明。

所以代码中,不是简单的用 import 导入模块,而是 from... import 方法导入。

本次案例主要需要使用到的模块是: sys 、 bs4、 re、 urllib、 xlwt

安装模块,有个挺有意思的办法:在 PyCharm 下方,点 Terminal 竟然直接就能进入 cmd 窗口,进去之后再使用 pip 命令安装就可以了。

当然,老师最推荐的,还是在 PyCharm 中,用 setting 来安装,这个我在之前的文章有说过的。

让我更明白的一点是,原来上述两种方法是只使用后面一种就可以了,我之前一直以为是两个要同时都使用呢。

后面的办法最大的优点,就是在安装包的同时,你可以关闭窗口继续输入代码,不用去管它。

而像命令提示行的办法,就只能傻傻等着了。

现在,把所有需要的库一次性导入吧,哪个没装也都给他装上。

构建流程

一个小技巧:在 PyCharm 中,如果文字没有变色(比如灰色),说明没有被调用过;而变了颜色(如橙色、蓝色等),就是被调用过了。没有变色的代码,将其删除,不影响程序的运行。

简单来说,爬取豆瓣,分三个大步骤:爬取网页、解析数据、保存数据

事实上,每个步骤也都是个大工程,所以把每个步骤提取成一个函数,方便后期管理。

这里因为第一步和第二步可以说是交错进行,所以两个放在了一起。

第三步保存数据,需要给他指定一个路径,这里用到转义字符。

课程学到这里,还都是感觉不难。

不过,貌似明天就该应该挑战了。

加油,奥利给!


作者简介:冯十一,40岁仍然坚持学习的哏儿都老男人。多平台签约作者,日更写作践行者,每周阅读一本书。欢迎关注@天津冯十一

相关推荐

2500电脑组装最强配置(2500左右组装电脑主机配置清单)

两千五百元组装电脑,但配置只能是一般。台式机分为主机和显示器两个主体,按这个价格,显示器只能配置一般的,大约两百多元价格,其余都用来组装主机,主机包含机箱,电源,排风扇,电脑主板及内存,电脑处理器,声...

小米手机定时关机怎么设置(如何让小米手机定时关机)
小米手机定时关机怎么设置(如何让小米手机定时关机)

1、从设置菜单中找到电池与性能选项。      2、选择电池版块,点击定时开关机。      3、将定时开机右边的按钮开...

2025-12-28 02:51 off999

磁盘删除的文件怎么恢复(磁盘误删怎么恢复)

可以恢复,因为删除文件时,其实只是把表头删除了,后面的数据并没有删除,直到下一次进行写磁盘操作需要占用节点所在位置时,才会把相应的数据覆盖掉。所以,就算你误删了文件之后又进行了其他写磁盘操作,只要没有...

qq自动回复内容古风(qq自动回复古文)
qq自动回复内容古风(qq自动回复古文)

1、抽剑相助,搭救无辜,却引来杀身之祸。那女子故作柔弱,假装爱慕,只为那本剑谱。2、只缘感君一回顾,使我思君朝与暮。3、相知相惜若可谓缘,不负韶华年。4、看那天地日月,恒静无言;青山长河,世代绵延;就像在我心中,你从未离去,也从未改变。5、...

2025-12-28 01:51 off999

惠普电脑bios设置u盘启动(惠普 bios u盘启动)

惠普电脑bios设置u盘启动:1、插上制作好的u启动启动盘的u盘并启动电脑,在进入开机画面的时候按“f2”进入bios界面;2、进入bios界面之后切换到“boot”,准备设置u盘启动;3、这里在键盘...

win7优化开机启动项(windows10启动项优化)

开机出现错误0xc0000017无法开机错误的解决办法。1、就是system文件丢失了。2、如果想来恢复正常,需要有U盘或者光盘的pe系统,在pe下修复。3、本身C:\Windows\System32...

联想笔记本电脑系统恢复出厂设置
  • 联想笔记本电脑系统恢复出厂设置
  • 联想笔记本电脑系统恢复出厂设置
  • 联想笔记本电脑系统恢复出厂设置
  • 联想笔记本电脑系统恢复出厂设置
默认浏览器怎么改(软件默认浏览器怎么改)

在浏览器中设置默认浏览器的方法略有不同,以下是在常见的几个浏览器中设置默认浏览器的方法:1.在Windows10中设置Edge浏览器为默认浏览器:  a.打开&#...

显卡驱动程序是什么

NVIDIA驱动是一种软件,用于管理安装在计算机上的NVIDIA图形处理器,以确保它们正常运行。NVIDIA是一家知名的GPU(图形处理器)制造商,提供各种高性能显卡和集成GPU,这些设备需要相应的驱...

电脑的网络怎么连接wifi(台式电脑wifi在哪里打开)
  • 电脑的网络怎么连接wifi(台式电脑wifi在哪里打开)
  • 电脑的网络怎么连接wifi(台式电脑wifi在哪里打开)
  • 电脑的网络怎么连接wifi(台式电脑wifi在哪里打开)
  • 电脑的网络怎么连接wifi(台式电脑wifi在哪里打开)
扣扣空间电脑版登录入口(qq空间电脑版官网网站登录)
扣扣空间电脑版登录入口(qq空间电脑版官网网站登录)

可以通过以下链接登陆进入QQ空间:https://qzone.qq.com/QQ空间(Qzone)是腾讯公司于2005年开发出来的一个具有个性空间,具有博客(blog)的功能,自问世以来受到众多人的喜爱。在QQ空间上可以书写日志、写说说...

2025-12-27 22:03 off999

怎么还原(怎么还原手机出厂设置)

1、首先,在Excel工作表中依次点击左上角的文件图标——Excel选项。2、然后,在弹出来的Excel选项的小窗口中点击左侧的保存菜单栏目。3、接着,在保存菜单栏目的右侧可以看到自动恢复文件的位置,...

台式电脑可以设置密码吗(台式电脑如何设密码怎么办)
  • 台式电脑可以设置密码吗(台式电脑如何设密码怎么办)
  • 台式电脑可以设置密码吗(台式电脑如何设密码怎么办)
  • 台式电脑可以设置密码吗(台式电脑如何设密码怎么办)
  • 台式电脑可以设置密码吗(台式电脑如何设密码怎么办)
怎么用360升级系统版本(怎么用360更新系统)

360可以下载补丁更新漏洞,对系统进行升级(在360修复漏洞里面点立即修复就行了)升级电脑系统大多数情况下是指低版本的系统升级到高版本的系统,比如说从windows2000升到xp,从vista升级到...

360助手电脑版客户端(360软件助手电脑)

还是非常好的,都是能够让他可以直接拦截病毒,同时能够让他清理内存,而且能够让这个有非常好的手机应用软件权限优化作用。360手机助手是360推出的手机助手,拥有海量软件和游戏轻松下载,炫彩主题壁纸随心点...

取消回复欢迎 发表评论: