当前位置：网站首页 > 技术资源 > 正文

一学就会一用不废系列:如何用Python获取NBA历史数据

off999 2024-11-27 18:50 31 浏览 0 评论

#Python##NBA球星##NBA#

#百粉#

入手Python后却不知道怎么拿来用，本篇文章将带你用Python来快速批量获取数据。

处理目标：用Python获取NBA历史得分排名前500的历史球星及得分数据。

前期准备：电脑安装Python，Pycharm软件（其他类似可视化处理界面，方便编程）

目标网站：http://stat-nba.com/（一个非常全面的NBA数据记录网站）

准备完成后，下面就开始我们的数据获取工作：首先，第一步泡一壶茶，或者倒一杯咖啡（非必要步骤[狗头]），废话不说，言归正传，正式开始处理步骤。

首先，打开pycharm，新建项目，写好项目名称地址等基本信息。

本次数据获取过程中需要使用requests模块、网页文本解析模块etree、csv模块。所以在脚本文件中加入所需的模块。

pycharm构建的项目只提供了基础的模块内容，所以我们还需要在设置-设置-Python解析器中导入我们所需要的模块。

然后通过浏览器打开我们的目标网址：http://stat-nba.com/query.php?page=0&QueryType=all&AllType=season&AT=tot&crtcol=pts&order=1#label_show_result

网址信息中我们主要用到的信息主要是page信息，用来标识目标网址的页数。设置好页数之后，右键点击检查查看目标网页的原始代码。找到姓名节点及分数节点。

在完成以上准备后，在脚本文件中编辑requests.get请求，主要包括url及请求的hearder信息。在url中定义一个用来控制当前页码的变量currentPage，自动获取时用来控制数据获取数量。

请求后的本档解析使用etree.HTML函数。

再次回到解析的网页，分析发现用来控制表格数据的节点采用类来控制，例如：姓名所属的类为"normal player_name_out change_color col1 row*"，得分所在的类为"current pts change_color col22 row *'"，同时通过row的标号来标识排名编号，每页默认为20行（0-19）。

所以再次回到脚本文件，设置解析的表达式对数据进行解析，通过currentRow变量来存储当前排名位置。

最后，通过while加for循环的方式批量下载数据，并保存为csv文档。

完成之后就可以随意处理数据了。[狗头][狗头]

文/挽风行

python抓取数据