python爬虫学习(四):requests的使用

requests也一个访问网络资源的模块包，不过是python的第三方库，处理url比urllib会更方便一些，而且还有很多实用的高级功能。

安装requests，这里采用pip进行安装：

• 在windows系统下只需要在命令行输入命令 pip install requests 即可安装。
• 在 linux 系统下，只需要输入命令 sudo pip install requests ，即可安装。
• 在 mac系统下，只需要输入命令 pip3 install requests ，即可安装。

安装成功后，如果是在pycharm软件编辑的话，这个时候就有requests的提示了。

如下：

requests的七个主要方法：

• requests.request() 构造一个请求，支持以下各种方法
• requests.get() 获取html的主要方法
• requests.head() 获取html头部信息的主要方法
• requests.post() 向html网页提交post请求的方法
• requests.put() 向html网页提交put请求的方法
• requests.patch() 向html提交局部修改的请求
• requests.delete() 向html提交删除请求

这里主要讲比较常用的get和post请求方式。

requests.get()

源码：get(url, params=None, kwargs)

url参数：访问地址

Params参数： 网址尾部附加的参数，如http://xxx.xx.com/get?a=xxx&b=xxx 中的a=xxx&b=xxx部分。

kwargs参数：主要是其他可传参数的集合，具体跟urllib.request.urlopen()方法里面的参数类似。我们在源码中可以发现get和post最终都是跳到一个方法进行执行。

def request(self, method, url,
            params=None, data=None, headers=None, cookies=None, files=None,
            auth=None, timeout=None, allow_redirects=True, proxies=None, 
            hooks=None, stream=None, verify=None, cert=None, json=None)

上面的参数即为get和post方法所有可以传的参数。

具体：

import requests
r = requests.get(“http://www.baidu.com“)
print(r.status_code)  #状态码
print(r.text)   #返回内容

这是最简单的访问方法。还有带参的。

import requests
r = requests.get(‘https://www.douban.com/search‘, params={‘q’: ‘python’, ‘cat’: ‘1001’})
print(r.url)   #查看请求的url
print(r.encoding)  #查看请求的编码
print(r.content)  #返回的内容，bytes对象，未解码，r.text是已经解码之后的字符串

另外，如果要传递headers可以这么写

 r = requests.get(‘https://www.douban.com/‘, headers={‘User-Agent’: ‘Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit’})

requests.post()

一些参数传递方式和get方法差不多。传入data参数作为post请求的数据

>>> r = requests.post(‘https://accounts.douban.com/login‘, data={‘form_email’: ‘abc@example.com’, ‘form_password’: ‘123456’})

requests默认使用application/x-www-form-urlencoded对POST数据编码。如果要传递JSON数据，可以直接传入json参数：

params = {‘key’: ‘value’}
r = requests.post(url, json=params) # 内部自动序列化为JSON

类似的，上传文件需要更复杂的编码格式，但是requests把它简化成files参数：

>>> upload_files = {‘file’: open(‘report.xls’, ‘rb’)}
>>> r = requests.post(url, files=upload_files)

要在请求中传入Cookie，只需准备一个dict传入cookies参数：

>>> cs = {‘token’: ‘12345’, ‘status’: ‘working’}
>>> r = requests.get/post(url, cookies=cs)

最后，要指定超时，传入以秒为单位的timeout参数：

>>> r = requests.get/post(url, timeout=2.5) # 2.5秒后超时

获取响应头，可以通过r.headers获取，另外通过r.headers[key]获取具体某一个头部信息。获取cookies类似。

requests.request()

该方法可以实现get也可以实现post.通过首个参数method传递‘GET’或‘POST’进行区分，其余参数与上述相同。

r=requests.request(‘GET’,‘https://www.douban.com/search‘,params={‘q’: ‘python’, ‘cat’: ‘1001’})