写了一个下载图片和视频的python小工具
off999 2025-06-10 17:24 5 浏览 0 评论
谁先掌握了 AI, 谁就掌握了未来的“权杖”。
在网上冲浪时,总会遇到一些好看的视频和图片,情不自禁地想“据为己有”。于是,就有了下载图片和视频的需求。
浏览器插件
工欲善其事,必先利其器。要做一件事,首先得找到对应的工具。下载网络图片或视频,当然首选浏览器插件了。
使用 Microsoft Edge Dev 版,安装如下插件即可(安装插件的方法网上搜下即可):
Python 小工具
「需求场景」
有了浏览器插件,为什么我还要写这个小工具呢?
我的需求场景是,有一个入口页面(如下图所示),这个页面有一系列子页面和链接,每个子页面有一个视频。我想批量下载这些子页面的视频。使用浏览器插件,我得一个个点击子页面,子页面比较多时,是个繁琐的事情。
能不能用程序来实现呢?说干就干。
「思路说明」
(1)使用 selenium 来模拟打开页面,因为有些页面需要完全打开,否则内容会获取不到或者获取不完整;
(2)使用元素选择器来定位网页链接元素和资源元素;
(3)元素选择器可以通过命令行指定,使用更加灵活方便;
(4)由于定位链接元素和资源元素都可以采用同一种办法,又不想再加一个选项去定位资源元素,因此这里复用了 -s 选项去定位资源元素。这块还得再想想。这个程序的重点就是如何准确定位链接和资源元素;
(5)视频下载使用了现有程序(Mac 上的 you-get),调用 shell 命令的方式来实现。因为通常不会下载太多的图片和视频,因此对性能没有作考虑。读者可以替换这个地方。
最基本的元素选择器:
选择器名称选择的内容示例ID 选择器具有特定 ID 的元素。单一 HTML 页面中,每个 ID 只对应一个元素,一个元素只对应一个 ID#my-id,选择 <p id="my-id"> 或 <a id="my-id">类选择器具有特定类的元素。单一页面中,一个类可以有多个实例.my-class,选择 <p class="my-class"> 和 <a class="my-class">属性选择器拥有特定属性的元素img[src],选择 <img src="myimage.png"> 但不是 <img>
「安装与用法」
用法和例子在程序里已经给出了。要使用这个工具,需要:
(1)安装如下 python 模块:
pip3 install selenium requests beautifulsoup4 Pillow
(2) 下载对应的 chromedriver ,chromedriver 与 chrome 的版本要保持对应。
# download corresponding version of chromedriver in https://chromedriver.chromium.org/downloads
# unzip and cp chromedriver to /usr/local/bin/ then chmod +x /usr/local/bin/chromedriver
「程序实现」
#!/usr/bin/python3
#_*_encoding:utf-8_*_
import os
import random
import string
import json
import time
import argparse
import traceback
import subprocess
import requests
from bs4 import BeautifulSoup
from PIL import Image
# 下载目录设置
save_path = '/Users/qinshu/Downloads'
img_width_threshold = 500
img_height_threshold = 500
def usage():
usage_info = '''
This program is used to batch download pictures or videos from specified url.
search and download pictures or videos from network url by specified rules.
// ...省去部分代码
print("number of links: %s" % len(links))
if len(links) > 0:
for link in links:
if sourcetype:
time.sleep(1)
download_source(link, sourcetype, css)
与 ChatAI 高效协作
这个程序的主要还是我写的,只是一些功能使用了 AI 给出的程序。实际上,这还不算一种高效的与 AI 协作的方式。
如何与 ChatAI 高效协作呢?一种简单的方式是,你问我答。但是,简单的提问,往往得不到理想的回答。读者不妨试试以下几种提问,看看 ChatAI 给出什么答案:
- 写一个 python 程序,下载页面 https://tu.heiguang.com/works/12_%E6%A3%AE%E7%B3%BB.html 中 class=tk_photo_img 的链接列表;
- 能够使用 -c 来指定 classname;
- 使用模块化的方式来编写这个程序;
- 使用 -k --keyword 来指定一个关键字,链接包含该关键字才输出;
- 写一个模块化的 python 程序,获取页面 https://tu.heiguang.com/works/12_%E6%A3%AE%E7%B3%BB.html 中 class=tk_photo_img 中的链接列表;可以使用 -c 来指定 classname, 使用 -k 来指定一个关键字,链接包含该关键字才输出;如果指定了 -t type ,则下载指定类型的资源。type 可以取 img 或 video;
- 写一个模块化的 python 程序,获取页面 https://tu.heiguang.com/works/12_%E6%A3%AE%E7%B3%BB.html 中 class=tk_photo_img 中的链接列表;可以使用 -c 来指定 classname, 使用 -k 来指定一个关键字,链接包含该关键字才输出;如果指定了 -t type ,则下载指定类型的资源。type 可以取 img 或 video,要求使用 selenium 来模拟打开页面并写成函数,获取链接也写成一个单独的函数,下载资源也写成单独的函数。
- 写一个模块化的 python 程序,获取页面 https://tu.heiguang.com/works/12_%E6%A3%AE%E7%B3%BB.html 中 class=tk_photo_img 中的链接列表。要求如下:
(1) 可以使用 -c 来指定 classname;
(2) 可以使用 -s 来指定 css 选择符;
(3) 可以使用 -a 来指定自定义属性;
(4) -c -s -a 可以自由组合;
(5) 使用 -k 来指定一个关键字,链接包含该关键字才输出;
(6) 如果指定了 -t type ,则下载指定类型的资源。type 可以取 img 或 video;
(7) 要求使用 selenium 来模拟打开页面并写成函数,获取链接也写成一个单独的函数,下载资源也写成单独的函数。
请直接给出完整程序。是不是体会到了出题者的乐趣?
AI 给出的程序如下:
import argparse
import os
import re
import requests
from bs4 import BeautifulSoup
from selenium import webdriver
def open_browser(url):
'''使用 selenium 打开指定页面,并返回 driver 对象'''
options = webdriver.ChromeOptions()
options.add_argument('--headless')
//省去部分代码...
for link in image_links:
if args.type:
if args.type == 'img' and link.endswith(('jpg', 'jpeg', 'gif', 'png')):
download_media(link, 'Image', args.output)
elif args.type == 'video' and link.endswith(('mp4', 'avi', 'wmv', 'flv')):
download_media(link, 'Video', args.output)
else:
download_media(link, 'Image', args.output)
if __name__ == '__main__':
main()
虽然 AI 写出的程序还需要“调教”一下,但是,—— 我写出程序花费了 4 个小时,而 AI 只花费了不到一分钟。要知道,我是有着十年开发经验的工程师啊!就算 python 不太熟练,这个倍数也不会少多少。
我似乎看到了程序员面临的一次可怕的危机和可贵的机遇。可怕的危机我就不说了。可贵的机遇在于,熟练的开发者,完全可能单人单周从零构建起一个应用。也就是说,创业的技术基础已经形成,程序员需要更多学习商业、运营、财务、心理学相关的知识和技能。
对于初入行业的程序员,我的忠告是:尽可能早地掌握使用 AI 来协作。如果能善用 AI 的力量,他的成长速度和工作效率可能是其他人的数倍之多。
相关推荐
- 工程师必备!DeepSeek自动化运维全攻略
-
每天省出3小时,故障自修复+智能监控实战指南导语“总在深夜被报警短信吵醒?教你搭建智能运维体系,让DeepSeek自己管自己!”正文技能1:自动化故障诊断配置智能诊断规则:yaml复制alert_ru...
- Spug - 轻量级自动化运维平台(自动化运维平台 devops)
-
对于中小型企业而言,进行主机和应用的管理是比较麻烦的,应用部署往往需要直接连接服务器,再进行手动的环境配置、代码拉取、应用构建和部署发布等工作,容易出错,且耗时费力。一个好的自动化运维平台,往往能大大...
- 轻量级无 Agent 的一个好用的“小麻雀”自动化运维平台工具!-Spug
-
对于中小型企业而言,进行主机和应用的管理是比较麻烦的,应用部署往往需要直接连接服务器,再进行手动的环境配置、代码拉取、应用构建和部署发布等工作,容易出错,且耗时费力。一个好的自动化运维平台,往往能大大...
- 运维自动化之实用python代码汇总(python自动化运维常用模块)
-
本文总结了运维工作中经常用到的一些实用代码块,方便在需要的时候直接搬过来使用即可1.执行系统命令,获取返回结果fromsubprocessimportPopen,PIPE,STDOUTcp...
- 从代码小白到自动化大师:Python 编程实战
-
昨天我聊了一下关于线性代数、概率统计、微积分核心概念的学习,也花了一些时间恢复一下大学时候学这些的记忆,确实来说数学很有趣也很考验人,兴趣是最好的老师对吧,既然对AI感兴趣,总要认真的学一学,接下来我...
- 锐捷:基于Python TextFSM模块的网络设备自动化运维方法
-
网络设备自动化运维,首先要实现网络设备与自动化运维平台对接,即通过代码实现登录网络设备并获取信息。邮政业科技创新战略联盟单位锐捷自主研发的数据中心交换机产品已全面支持NETCONF协议,可适用于和SD...
- 基于Python+vue的自动化运维、完全开源的云管理平台
-
真正的大师,永远都怀着一颗学徒的心!一、项目简介今天说的这个软件是一款基于Python+vue的自动化运维、完全开源的云管理平台。二、实现功能基于RBAC权限系统录像回放DNS管理配置中心强大的作业调...
- 编程与数学:在Python里怎么用turtle库函数填色?
-
这里只给出一个示例,一个最简单的示例。看懂这个示例,你就能在自己的代码里需要填色的地方填色。首先,与前面发的Python绘画程序一样,先要装入turtle库。然后在代码中,下面需要填色时,先写一个填色...
- Python UV 环境下的 PyKDL 运动学库安装
-
视频讲解:PythonUV环境下的PyKDL运动学库安装_哔哩哔哩_bilibilimujoco-learning这个仓库,改成uv管理环境依赖后,原来的一些包有些缺失,比如之前安装的PyKD...
- python最新版3.11正式发布,有哪些新特色?(3/5)
-
异步任务的语法更完美python编程语言对异步编程的支持一直在改进,比如python2.0版开始就增加了生成器(generator),在3.4版开始增加了asyncio库,随后在3.5版中...
- 清华北大都在用!Python王者归来(全彩版)
-
纸上得来终觉浅,绝知此事要躬行。今天给大家带来一份由清华大学出版的《python王者归来》。在当下全民互联网,大数据的时代,Python已然成为了学习大数据、人工智能时代的首选编程语言,Python...
- 第六章:Python模块与包(python模块与包与类的关系区别)
-
6.1模块基础6.1.1理论知识模块是一个包含Python定义和语句的文件,其扩展名为.py。模块可以将代码组织成逻辑单元,提高代码的可维护性和复用性。通过将相关的函数、类和变量放在同一个模块中...
- 语言教育项目实战之一:Ubuntu下安装Python环境
-
如下项目,运行在#ubuntu#上,使用#pytho#,从最初环境开始,逐渐深入。此项目以语言学习为主要目的,实现听写、跟读、对话的服务,面向中小学生、大学生、涉外交流人员等。计划通过pyenv管...
- openai-python v1.79.0重磅发布!全新Evals API升级,音频转录终极
-
2025年5月17日,OpenAI官方在GitHub上发布了openai-python库的最新版本——v1.79.0。本次版本重点围绕Evals评估API进行了多项功能完善,同时修复了音频转录接口的重...
- 你真的用对了吗?7个常被误用的Python内置函数及最佳实践
-
你是否曾经在使用多年的工具中突然发现一个新功能,然后感叹:“我怎么一直没发现这个?”没错,今天我们就来体验一把“Python函数版”的这种乐趣。这些函数很可能已经是你日常代码的一部分,但我敢打赌,你并...
你 发表评论:
欢迎- 一周热门
- 最近发表
-
- 工程师必备!DeepSeek自动化运维全攻略
- Spug - 轻量级自动化运维平台(自动化运维平台 devops)
- 轻量级无 Agent 的一个好用的“小麻雀”自动化运维平台工具!-Spug
- 运维自动化之实用python代码汇总(python自动化运维常用模块)
- 从代码小白到自动化大师:Python 编程实战
- 锐捷:基于Python TextFSM模块的网络设备自动化运维方法
- 基于Python+vue的自动化运维、完全开源的云管理平台
- 编程与数学:在Python里怎么用turtle库函数填色?
- Python UV 环境下的 PyKDL 运动学库安装
- python最新版3.11正式发布,有哪些新特色?(3/5)
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python自定义函数 (53)
- python进度条 (67)
- python吧 (67)
- python字典遍历 (54)
- python的for循环 (65)
- python串口编程 (60)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python字典增加键值对 (53)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python人脸识别 (54)
- python多态 (60)
- python命令行参数 (53)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- centos7安装python (53)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)