Python爬虫中 GET、POST请求（python爬虫发送post请求）

#coding=utf-8

import requests

'''

get和post封装的方法，如果是要爬取的网址可以直接从浏览器中打开，可以使用

如果需要类似于 登录 的时候尽量不要使用封装，需要登录的网址，通常需要cookie，

我们封装的，每次建立连接都会产生一次新的会话，cookie容易丢失

'''

def get(url,params=None,cookie=None,header=None, verify=False,proxies=None):

# 建立session

# 设置要返回的内容，以字典形式存在

session = requests.session()

ret={}

ret['issuccess']=False

try:

# 判断参数、cookie、header、verify是否存在

if params:

session.params = params

if cookie:

session.cookies = cookie

if header:

session.headers = header

if verify==True:

session.verify=verify

if proxies:

session.proxies = proxies

# 发送请求

rets = session.get(url,verify=verify)

if rets:

# 如果请求的数据是正常响应的，返回响应的数据

ret['issuccess']=True

ret['message']=rets.content

except Exception, e:

print e.message

finally:

if session:

session.close()

return ret

def post(url,data,params=None,cookie=None,header=None, verify=False,proxies=None):

# 建立会话

session = requests.session()

# 设置返回内容

ret = {'issuccess':False}

try:

if params:

session.params = params

if cookie:

session.cookies = cookie

if header:

session.headers = header

if verify == True:

session.verify = verify

if proxies:

session.proxies = proxies

rets = session.post(url=url,data=data,timeout=20,verify=verify)

if rets:

ret={'issuccess':True,'message':rets.content}

except Exception,e:

print e.message

finally:

if session:

session.close()

return ret