超级实用!Python爬虫实战攻略

off999 2024-12-14 14:24 33 浏览 0 评论

# 小伙伴们，大家好！今天猿梦家要带大家一起玩转Python爬虫！
爬虫，简单来说，就是用程序自动访问网页并抓取数据的技术。
它就像是一个勤劳的小蜜蜂，在互联网的花海中采集我们需要的信息。话不多说，咱们这就开干！

## 一、爬虫基础概念

**爬虫**，又叫网络爬虫、网络机器人，是一种自动化浏览网络的程序。
它们按照一定的规则和算法，自动地抓取互联网上的信息。

**小贴士**：爬虫不仅要遵守网站的`robots.txt`规则，还要遵循相关的法律法规，不要随意抓取敏感数据哦！

## 二、环境准备

首先，我们需要安装一些必要的库。`requests`用于发送HTTP请求，`BeautifulSoup`用于解析HTML文档，`pandas`则方便我们处理数据。

```bash
pip install requests beautifulsoup4 pandas

三、发送HTTP请求

使用requests库发送HTTP请求非常简单。比如，我们要访问一个网页，可以这样写：

import requests

url = 'http://example.com'
response = requests.get(url)
print(response.text)

小贴士：requests.get()方法会返回一个Response对象，response.text属性包含了网页的HTML内容。

四、解析HTML文档

接下来，我们使用BeautifulSoup来解析HTML文档，提取我们感兴趣的信息。

from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, 'html.parser')
title = soup.title.string
print(title)

小贴士：BeautifulSoup对象可以像操作树结构一样操作HTML文档，非常直观。

五、实战案例：抓取豆瓣电影Top250

现在，我们来实战一下，抓取豆瓣电影Top250的电影名称和评分。

import requests
from bs4 import BeautifulSoup

# 豆瓣电影Top250的URL模板
url_template = 'https://movie.douban.com/top250?start={}'

# 定义一个函数来抓取一页的数据
def get_page_data(url):
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    movies = []

    # 查找电影条目
    for item in soup.find_all('div', class_='item'):
        title = item.find('span', class_='title').get_text()
        rating = item.find('span', class_='rating_num').get_text()
        movies.append({'title': title, 'rating': rating})
    
    return movies

# 抓取所有页面的数据
all_movies = []
for i in range(0, 250, 25):
    url = url_template.format(i)
    movies = get_page_data(url)
    all_movies.extend(movies)

# 打印结果
for movie in all_movies:
    print(f"电影名称: {movie['title']}, 评分: {movie['rating']}")

小贴士：注意豆瓣的反爬机制，不要频繁发送请求，可以加一些延时或者使用代理IP。

六、数据保存

抓取到的数据，我们可以保存到文件中，比如CSV文件，方便后续处理。

import pandas as pd

# 将数据转换为DataFrame
df = pd.DataFrame(all_movies)

# 保存到CSV文件
df.to_csv('douban_top250.csv', index=False, encoding='utf-8-sig')

小贴士：encoding='utf-8-sig'参数可以确保生成的CSV文件在Excel中正常显示中文。

七、异常处理

在爬虫过程中，经常会遇到各种异常情况，比如网络请求失败、解析错误等。因此，异常处理是非常重要的。

try:
    response = requests.get(url)
    response.raise_for_status()  # 检查请求是否成功
except requests.RequestException as e:
    print(f"请求失败: {e}")
else:
    # 解析和处理数据...
    pass

小贴士：response.raise_for_status()方法会在请求不成功时抛出异常，方便我们进行捕获和处理。