Python爬取新闻网站保存标题、内容、日期、图片等数据
off999 2024-11-22 19:03 18 浏览 0 评论
前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。
基本开发环境
- Python 3.6
- Pycharm
import requests
import parsel
import pdfkit
import csv
import threading
相关模块pip安装即可
确定目标网页
获取数据
- 标题
- 内容 保存成PDF
- 日期
- 图片 保存本地
- 详情页url、日期、图片地址等等 保存csv
网站是静态网页,没有什么难度
详情页
同样是静态页面
网页源代码已经说明数据在什么地方了,利用相关的解析工具,对网页数据进行解析即可。
代码实现
- 请求网页以及解析
def get_html(html_url):
response = requests.get(url=html_url, headers=headers)
return response
def get_pars(html_data):
selector = parsel.Selector(html_data)
return selector
- 保存内容 PDF格式
html_str = """
<!doctype html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Document</title>
</head>
<body>
{article}
</body>
</html>
"""
def save_article(article, title):
html_path = '重庆新闻\\' + title + '.html'
pdf_path = '重庆新闻pdf\\' + title + '.pdf'
html = html_str.format(article=article)
with open(html_path, mode='w', encoding='utf-8') as f:
f.write(html)
print('{}已下载完成'.format(title))
# exe 文件存放的路径
config = pdfkit.configuration(wkhtmltopdf='C:\\Program Files\\wkhtmltopdf\\bin\\wkhtmltopdf.exe')
# 把 html 通过 pdfkit 变成 pdf 文件
pdfkit.from_file(html_path, pdf_path, configuration=config)
- 保存csv文件
f = open('新闻.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['标题', '作者', '日期', '新闻详情页'])
csv_writer.writeheader()
- 保存图片
def save_img(img_urls):
for i in img_urls:
img_url = 'http://news.cqu.edu.cn' + i
img_content = get_html(img_url).content
img_name = img_url.split('/')[-1]
with open('新闻图片\\' + img_name, mode='wb') as f:
f.write(img_content)
- 主函数
def main(url):
html_data = get_html(url).text
selector = get_pars(html_data)
lis = selector.css('body > div:nth-child(4) > div > div.lists .title a::attr(href)').getall()
for li in lis:
content_data = get_html(li).text
li_selector = get_pars(content_data)
title = li_selector.css('.dtitle::text').get() # 新闻标题
article = li_selector.css('.acontent').get() # 新闻内容
name_list = li_selector.css('.dinfoa a::text').getall() # 作者
name = '|'.join(name_list)
date_list = li_selector.css('.ibox span::text').getall()
date_str = ''.join(date_list) # 新闻日期
img_urls = li_selector.css('.acontent p img::attr(src)').getall() # 获取新闻内图片
dit = {
'标题': title,
'作者': name,
'日期': date_str,
'新闻详情页': li,
}
csv_writer.writerow(dit)
save_article(article, title)
save_img(img_urls)
if __name__ == '__main__':
for page in range(1, 11):
url = 'https://news.cqu.edu.cn/newsv2/news-127.html?&page={}'.format(page)
main_thread = threading.Thread(target=main, args=(url,))
main_thread.start()
- 文件PDF
- 详情页url
- 相关图片
图片可以按照标题后缀数字123命名,这个地方可以优化
- csv文件数据
完整代码
import requests
import parsel
import pdfkit
import csv
import threading
f = open('新闻.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['标题', '作者', '日期', '新闻详情页'])
csv_writer.writeheader()
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
html_str = """
<!doctype html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Document</title>
</head>
<body>
{article}
</body>
</html>
"""
def get_html(html_url):
response = requests.get(url=html_url, headers=headers)
return response
def get_pars(html_data):
selector = parsel.Selector(html_data)
return selector
def save_article(article, title):
html_path = '重庆新闻\\' + title + '.html'
pdf_path = '重庆新闻pdf\\' + title + '.pdf'
html = html_str.format(article=article)
with open(html_path, mode='w', encoding='utf-8') as f:
f.write(html)
print('{}已下载完成'.format(title))
# exe 文件存放的路径
config = pdfkit.configuration(wkhtmltopdf='C:\\Program Files\\wkhtmltopdf\\bin\\wkhtmltopdf.exe')
# 把 html 通过 pdfkit 变成 pdf 文件
pdfkit.from_file(html_path, pdf_path, configuration=config)
def save_img(img_urls):
for i in img_urls:
img_url = 'http://news.cqu.edu.cn' + i
img_content = get_html(img_url).content
img_name = img_url.split('/')[-1]
with open('新闻图片\\' + img_name, mode='wb') as f:
f.write(img_content)
def main(url):
html_data = get_html(url).text
selector = get_pars(html_data)
lis = selector.css('body > div:nth-child(4) > div > div.lists .title a::attr(href)').getall()
for li in lis:
content_data = get_html(li).text
li_selector = get_pars(content_data)
title = li_selector.css('.dtitle::text').get() # 新闻标题
article = li_selector.css('.acontent').get() # 新闻内容
name_list = li_selector.css('.dinfoa a::text').getall() # 作者
name = '|'.join(name_list)
date_list = li_selector.css('.ibox span::text').getall()
date_str = ''.join(date_list) # 新闻日期
img_urls = li_selector.css('.acontent p img::attr(src)').getall() # 获取新闻内图片
dit = {
'标题': title,
'作者': name,
'日期': date_str,
'新闻详情页': li,
}
csv_writer.writerow(dit)
save_article(article, title)
save_img(img_urls)
if __name__ == '__main__':
for page in range(1, 11):
url = 'https://news.cqu.edu.cn/newsv2/news-127.html?&page={}'.format(page)
main_thread = threading.Thread(target=main, args=(url,))
相关推荐
- Python开发管理神器--UV 使用教程:从安装到项目管理
-
UV是一个用Rust编写的高效Python包和项目管理工具,提供了比传统工具更快的速度和更强的功能。本文将指导你如何使用UV从安装到运行一个Python项目。重点:它可以独立安装,可...
- python入门-Day 26: 优化与调试(python优化方法)
-
优化与调试,内容包括处理模型运行中的常见问题(内存、依赖)、调整参数(如最大生成长度),以及练习改进Day25的文本生成结果。我会设计一个结构化的任务,帮助你掌握优化和调试技巧,同时提升模型性能...
- Python安装(python安装发生严重错误)
-
Windows系统1.安装python1.1下载Python安装包打开官方网站:https://www.python.org/downloads/点击"DownloadPython3.1...
- UV 上手指南:Python 项目环境/包管理新选择
-
如果你是一位Python开发者,曾因pipinstall的安装速度而感到沮丧,或者希望Python的依赖管理能够像Node.js那样高效顺滑,那么UV可能正是你所需要的工具。UV...
- uv——Python开发栈中的高效全能小工具
-
每天写Python代码的同学,肯定都离不开pip、virtualenv、Poetry等基础工具,但是对这些工具可能是又恨又离不开。那么有什么好的替代呢,虫虫今天就给大家介绍一个替代他们的小工具uv,一...
- 使用Refurb让你的Python代码更加优秀
-
还在担心你写的Python代码是否专业,是否符合规范吗?这里介绍一个Python代码优化库Refurb,使用它可以给你的代码提出更加专业的建议,让你的代码更加的可读,规范和专业。下面简单介绍这个库的使...
- 【ai】dify+python开发AI八字排盘插件
-
Dify插件是什么?你可以将Dify插件想象成赋予AI应用增强感知和执行能力的模块化组件。它们使得将外部服务、自定义功能以及专用工具以”即插即用”的简洁方式集成到基于Dify构建的AI...
- 零基础AI开发系列教程:Dify升级指南
-
Dify近期发布很是频繁,基本两三天一个版本。值得肯定的是优化和改进了很多问题,但是官方的升级文档有点分散,也有点乱。我这里整理了一个升级文档供大家参考,如果还没有升级到新版本的小伙伴,可以按照我的文...
- 升级到PyTorch 2.0的技巧总结(如何更新pytorch版本)
-
来源:DeepHubIMBA本文约6400字,建议阅读12分钟在本文将演示PyTorch2.0新功能的使用,以及介绍在使用它时可能遇到的一些问题。PyTorch2.0发布也有一段时间了,大家...
- dify 1.6.0版本发布解读:引入MCP支持与多项核心优化升级指南详解
-
2025年7月10日,dify发布了1.6.0版本。这是一次功能深度升级与性能优化的综合性更新,标志着dify在技术规范支持、操作体验以及系统稳定性方面迈出了重要的一步。本文将从核心新特性、功能增强、...
- Python教程(十四):列表(List)(python列表方法总结)
-
昨天,我们学习了变量作用域,理解了局部和全局变量的概念。今天,我们将开始探索Python的数据结构,从最常用的**列表(List)**开始。列表是Python中最灵活、最常用的数据结构,它可以存储不同...
- Python列表操作(python列表有哪些基本操作)
-
Python添加列表4分钟阅读在Python操作列表有各种方法。例如–简单地将一个列表的元素附加到for循环中另一个列表的尾部,或使用+/*运算符、列表推导、extend()和i...
- Python字符串变形术:replace替换+join连接,10分钟掌握核心操作
-
字符串替换魔法:replace()实战手册核心价值:一键更新文本内容,精准控制替换范围#基础替换:Python变Javas="hellopython"print(s.re...
- python集合set() 数据增册改查统计序循常用方法和数学计算
-
概念特点定义和创建常用操作集合间的关系集合数学操作集合生成式遍历概念:可变、无序、不重复的序列数据容器特点:无序,不支持下标唯一性,可以删除重复数据可修改定义和创建赋值法:语法:s={x,....
- Python列表方法append和extend的区别
-
在Python编程中,列表是一种非常常用的数据结构。而列表有两个方法append()和extend(),它们看起来有点相似,但实际上有着明显的区别。今天咱们就来好好唠唠这俩方法到底有啥不同。基本区别a...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python字典遍历 (54)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)