Python爬虫中requests下载插件常用方法汇总(一)

off999 2024-11-22 19:01 34 浏览 0 评论

最近在对先前写的爬虫框架进行升级，今天把下载部分使用的插件更新了一下，把原来的urllib.request换成了requests插件。花了几个小时仔细的研究了一下requests的参数，目前初步整理一个工具类，代码如下：

import requests
from PIL import Image
from io import BytesIO
from com.fy.utils.http.UserAgentUtils import UserAgentUtils
from requests.exceptions import ReadTimeout, ConnectionError, RequestException
'''
    requests插件工具类；
'''
class RequestsPlugs:
    def __init__(self):
        self.uau = UserAgentUtils()
        #被正确编码后的请求网址的地址；
        self.requestUrl = None
        #服务器响应的内容
        self.requestText = None
        #获取二进制数据;以字节的方式访问请求响应体，对于非文本请求：
        self.requestContent = None
        #Requests 会自动解码来自服务器的内容。大多数 unicode 字符集都能被无缝地解码。
        self.htmlEncoding = None
        #响应状态码
        self.reponseStatusCode = None
        #请求的历史记录（以列表的形式显示）或者响应对象的 history 方法来追踪重定向
        self.reponseHistory = None
        #请求网址的headers所有信息
        self.reponseHeaders = None
        #请求网址的cookies信息
        self.reponseCookies = None
        ##如果response返回的状态码是非正常,则为False，否则为True
        self.isOk = False

    '''GET请求；;params格式:"{'key1': 'value1', 'key2': 'value2'}"
        timeout：单位秒；可以是小数。如0.5，表示500毫秒；
    '''
    def get(self, url, params  , headers , timeout  , deCode , proxies):
        headers = self.setUserAgent(headers)
        with requests.Session() as s:
            '''
              第一种：设置普通代理
                  如果需要使用【代理】，你可以通过为任意请求方法提供 proxies 参数来配置单个请求:
                proxies = {#设置普通代理
                  "http": "http://10.10.1.10:3128",
                  "https": "http://10.10.1.10:1080",
                }
              第二种：设置有用户名和密码的代理
                  若你的代理需要使用HTTP Basic Auth，可以使用 http://user:password@host/ 语法：
                proxies = {#设置用户名和密码代理
                    "http": "http://user:pass@10.10.1.10:3128/",
                }
              第三种：设置设置socks代理
                1：首先安装requests[socks]插件；
                    pip install requests[socks]
                proxies = {
                    'http': 'socks5://127.0.0.1:9742',
                    'https': 'socks5://127.0.0.1:9742'
                }
            '''
            try:
                r = s.get(url, params=params, proxies=proxies, headers=headers , timeout=timeout)
                self.handleResult(deCode, r)
            except ReadTimeout:
                print('Timeout')
            except ConnectionError:
                print('Connection error')
            except RequestException:
                print('Error')

    #POST请求;params格式:"{'key1': 'value1', 'key2': 'value2'}"
    def post(self, url, params , headers , timeout, deCode, proxies):
        headers = self.setUserAgent(headers)
        with requests.Session() as s:
            r = s.post(url, params=params, proxies=proxies, headers=headers , timeout=timeout)
            self.handleResult(deCode, r)

    def handleResult(self, deCode, r):
        #设置编码
        if deCode != None and len(deCode) > 1:r.encoding = deCode
        #被正确编码后的请求网址的地址；
        self.requestUrl = r.url
        #服务器响应的内容
        self.requestText = r.text
        #你也能以字节的方式访问请求响应体，对于非文本请求：
        self.requestContent = r.content
        #Requests 会自动解码来自服务器的内容。大多数 unicode 字符集都能被无缝地解码。
        self.htmlEncoding = r.encoding
        #响应状态码
        self.reponseStatusCode = r.status_code
        #请求网址的headers所有信息
        self.reponseHeaders = r.headers
        #请求网址的cookies信息
        self.reponseCookies = r.cookies
        '''
               可以使用响应对象的 history 方法来追踪重定向。
            Response.history 是一个 Response 对象的列表，为了完成请求而创建了这些对象。这个对象列表按照从最老到最近的请求进行排序。
        '''
        #请求的历史记录（以列表的形式显示）或者响应对象的 history 方法来追踪重定向
        self.reponseHistory = r.history

        self.isOk = (r.status_code == requests.codes.ok)

    #以请求返回的二进制数据创建一张图片；
    def toImage(self, url, params , headers , timeout, proxies, imageFilePath):
        headers = self.setUserAgent(headers)
        with requests.Session() as s:
            r = s.get(url, params=params, headers=headers, timeout=timeout, proxies=proxies)
            i = Image.open(BytesIO(r.content))
            #quality参数： 保存图像的质量，值的范围从1（最差）到95（最佳）。 默认值为75，使用中应尽量避免高于95的值; 100会禁用部分JPEG压缩算法，并导致大文件图像质量几乎没有任何增益。
            i.save(imageFilePath, quality=95)

    #Requests 中也有一个内置的 JSON 解码器，助你处理 JSON 数据：
    def toJson(self, url, params , headers , timeout, deCode, proxies):
        headers = self.setUserAgent(headers)
        with requests.Session() as s:
            r = s.get(url, params=params, headers=headers, timeout=timeout, proxies=proxies)
            #设置编码
            if deCode != None and len(deCode) > 1:r.encoding = deCode
            '''如果 JSON 解码失败， r.json() 就会抛出一个异常。例如，响应内容是 401 (Unauthorized)，尝试访问 r.json() 将会抛出 ValueError: No JSON object could be decoded 异常。
                  需要注意的是，成功调用 r.json() 并**不**意味着响应的成功。有的服务器会在失败的响应中包含一个 JSON 对象（比如 HTTP 500 的错误细节）。这种 JSON 会被解码返回。要检查请求是否成功，请使用 r.raise_for_status() 或者检查 r.status_code 是否和你的期望相同。
            '''
            self.requestText = r.json()

    #设置user-agent参数；
    def setUserAgent(self, headers):
        if headers == None:headers = {}
        headers['User-Agent'] = self.uau.getheaders()
        return headers

    #获取cookie集合；
    def getCookie(self):
        cookie = {}
        for key, value in self.reponseCookies.items():
            cookie[key] = value

    #文件上传
    def upload(self, url, params , headers , timeout, proxies, filePath):
        headers = self.setUserAgent(headers)
        with requests.Session() as s:
            files = {"files":open(filePath, "rb")}
            s.post(url, params=params, headers=headers, timeout=timeout, proxies=proxies, files=files)
            self.requestText = s.text

这是今天初步整理的，后续会继续对其进行更详细整理，希望对大家有帮助。