当前位置：网站首页 > 技术资源 > 正文

python入门-Day 26: 优化与调试（python优化方法）

off999 2025-07-21 17:08 89 浏览 0 评论

优化与调试，内容包括处理模型运行中的常见问题（内存、依赖）、调整参数（如最大生成长度），以及练习改进 Day 25 的文本生成结果。我会设计一个结构化的任务，帮助你掌握优化和调试技巧，同时提升模型性能。

任务目标

学会识别和解决大语言模型运行中的常见问题（如内存不足、依赖冲突）。
掌握调整参数以优化生成结果的方法。
改进 Day 25 的 GPT-2 文本生成代码，提升输出质量和效率。

任务详情

1. 处理模型运行中的常见问题

问题 1：内存不足（Memory Issues）

场景：在本地运行 GPT-2 时，可能会因内存不足（尤其在低配 Mac 上）导致崩溃。
解决方法：
检查内存使用：
python
import torch print("可用内存 (GB):", torch.cuda.memory_available() / 1e9 if torch.cuda.is_available() else "N/A") print("已用内存 (GB):", torch.cuda.memory_allocated() / 1e9 if torch.cuda.is_available() else "N/A")

对于 M3 芯片，使用 MPS：
python
if torch.backends.mps.is_available(): print("MPS 设备可用")

使用更小模型：将 gpt2 替换为 distilgpt2（参数从 124M 减到 82M）：
python
generator = pipeline("text-generation", model="distilgpt2", device="mps" if torch.backends.mps.is_available() else "cpu")
减少批量大小：避免一次生成多条文本（num_return_sequences=1）。
任务：
运行 Day 25 的代码，观察内存是否溢出。
替换为 distilgpt2，比较内存占用和运行速度。

问题 2：依赖冲突（Dependency Issues）

场景：你之前遇到的 torchvision::nms 错误，源于 PyTorch 和 torchvision 版本不匹配。
解决方法：
检查版本：
python
import torch import torchvision print("PyTorch:", torch.__version__) print("torchvision:", torchvision.__version__)
更新依赖：
pip install torch==2.6.0 torchvision==0.21.0 transformers --force-reinstall
或重建环境：
conda create -n pythonAI python=3.12 conda activate pythonAI pip install torch torchvision transformers
任务：
运行检查版本的代码，记录结果。
如果版本不匹配，更新依赖并验证 from transformers import pipeline 是否正常。

2. 调整参数优化生成结果

任务要求：调整 GPT-2 的生成参数，提升文本连贯性和质量。
关键参数：
max_length：控制生成文本长度。
temperature：控制随机性（越高越随机，推荐 0.7-1.0）。
top_k：限制采样范围（推荐 50）。
num_beams：使用束搜索提升连贯性（推荐 2-4）。
示例代码：
python
from transformers import pipeline import torch device = "mps" if torch.backends.mps.is_available() else "cpu" generator = pipeline("text-generation", model="gpt2", device=device) prompt = "Once upon a time" result = generator(prompt, max_length=100, temperature=0.7, top_k=50, num_beams=2, num_return_sequences=1) print("优化后的生成文本:") print(result[0]["generated_text"])
任务：
运行代码，观察生成的文本质量。
调整以下参数，记录变化：
max_length: 50 vs 150
temperature: 0.5（更保守） vs 1.2（更随机）
top_k: 20 vs 100
num_beams: 1（无束搜索） vs 4

3. 练习：改进 Day 25 的生成结果

Day 25 原代码：
python
from transformers import pipeline generator = pipeline("text-generation", model="gpt2") prompt = "Once upon a time" result = generator(prompt, max_length=50, num_return_sequences=1) print("生成文本:", result[0]["generated_text"])
问题：
输出可能不连贯（例如突然中断或重复）。
运行慢（未用 M3 的 MPS）。
缺乏多样性或创意。
改进代码：
python
import time import torch from transformers import pipeline # 设置设备 device = "mps" if torch.backends.mps.is_available() else "cpu" print(f"使用设备: {device}") # 加载模型 start_time = time.time() generator = pipeline("text-generation", model="distilgpt2", device=device) print(f"模型加载耗时: {time.time() - start_time:.2f} 秒") # 输入提示词 prompt = "Once upon a time in a distant kingdom" # 生成文本 start_time = time.time() result = generator( prompt, max_length=100, # 增加长度，生成完整故事 temperature=0.8, # 适度随机性 top_k=40, # 限制词汇范围，提升连贯性 num_beams=4, # 束搜索改善质量 num_return_sequences=1, # 单条输出 no_repeat_ngram_size=2 # 避免重复短语 ) print(f"生成耗时: {time.time() - start_time:.2f} 秒") # 输出结果 print("改进后的生成文本:") print(result[0]["generated_text"])
改进点：
使用 distilgpt2：更轻量，加载和推理更快。
启用 MPS：利用 M3 的 GPU 加速。
优化参数：
max_length=100：生成更长的故事。
temperature=0.8：平衡创意和连贯性。
top_k=40：控制输出多样性。
num_beams=4：提升文本逻辑性。
no_repeat_ngram_size=2：防止短语重复。
计时：监控性能。
任务：
运行改进代码，比较与 Day 25 原输出的质量和速度。
修改 prompt 为其他内容（例如 "In a futuristic city"），生成一段文字。
调整参数，尝试生成至少 3 句话的连贯故事。
挑战：如果输出仍不理想，添加 top_p=0.9（核采样），观察效果。

进阶挑战（可选）

内存优化：
使用 torch.no_grad() 减少推理时的内存占用：
python
with torch.no_grad(): result = generator(prompt, max_length=100, num_beams=4)
调试输出：
检查生成过程中的 token：
python
inputs = generator.tokenizer(prompt, return_tensors="pt").to(device) outputs = generator.model.generate(**inputs, max_length=100, num_beams=4) print("生成的 token:", outputs) print("解码文本:", generator.tokenizer.decode(outputs[0]))
多设备兼容：
添加 CPU/GPU 切换逻辑，测试不同设备的性能。