爬虫从本质上来说，就是利用程序在网上拿到对我们有价值的数据。实际上爬虫就是使用编程语言所编写的程序，作用是从网络上获取有价值的数据，重要的就是速度比手动获取数据快。

浏览器的工作原理

爬虫的工作原理其实就是把人工的操作变成了程序操作。

爬虫的工作步骤

(1)输入网址，发起请求，得到数据

(2)用程序把得到的数据进行解析

(3)从数据中提取想要的数据

(4)进行数据存储，便于日后的使用和分析

了解了爬虫的原理，我们一起去如何进行数据的抓取吧？

import requests
from bs4 import BeautifulSoup
import openpyxl
header={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}#请求头，模拟浏览器行为进行操作。越过服务器的反爬
response=requests.get('https://movie.douban.com/',headers=header)#根据请求方法用get方法进行发送请求，并获得响应值。headers=header用关键字传参
#
# print('响应状态码',response.status_code)
# print(response.request.headers)#查看请求头
# print(response.text)#查看响应文本
bs=BeautifulSoup(response.text,'html.parser')#html.parser 解析html。
# print(type(bs))
# title=bs.find('td',class_='title')#查找单个电影
# print(title.text)#输出结果
# title=bs.find_all('td',class_='title')
list=[['编号','电影名称','地址']]#声明列表中的头
title=bs.find('div',class_='billboard-bd')#查找标签
all_titel=title.find_all('tr')#查找div'标签 属性为 class='billboard-bd' 下的所有的tr
for i in all_titel:#遍历查找符合条件的电影
    myid=i.find('td',class_='order')#查找电影id
    mytitle=i.find('td',class_='title')#查找电影名称
    url=i.find('a')['href']#查找地址连接
    # print( myid.text,mytitle.text,url)
    # title1=i.find('td',class_='title')
    list.append([myid.text,mytitle.text,url])#将数据添加到列表中
# print(list)
#*****************存储到excel表格中
wb=openpyxl.Workbook()#创建一个工作薄 
sheet=wb.active#创建一个工作表
sheet.title='电影'#为sheet页起名
for i in list:
    sheet.append(i)#将列表中的内容存储到文件
wb.save('films.xlsx')#保存电影