如何编写python爬虫?以及在张大妈比价项目中的应用!

最近打算买一些家电，但是电商平台众多，于是我想看看每天到底有多少商品进行降价了，同一款商品在不同平台中的价格又是多少？于是我从0开始翻阅了一些python资料，写了几个python小爬虫。

项目背景：电商平台众多，监测每个电商平台每日价格出现历史新低的商品，同一型号商品在不同电商平台的价格并且在同一张图标中绘制出来，方便筛需要的商品

项目名称：Hi张大妈比价（hizdm.com）

方案实施：如果要进行价格比对，当然少不了对数据的抓取，由于本人比较擅长php但通过百度（如果能用狗哥，谁还用它啊，虽说有vpn好像被360收集了经常断）得知python抓取会更好一些，于是就选择了python，之前没有用过python，于是在网上学了学python。

由于是比价固得先有思路，因为有些商品没法标准化，还好要买的电器还是能找到标准化的规则（爬虫爬取每个商品的说明找到产品型号，没错我进行数据标准化的规则就是按着商品型号来的）

首先选一些种子选手，京东、苏宁、国美，谁让你们在家电方面是龙头呢，O(∩_∩)O哈哈~，由于是新手我一次就抓取了所需要的产品缩略图、产品链接、产品参数、产品名称以及产品型号进行独立存取，这样文件在以后再进行比对筛选唯一（对型号进行字符串规则化，替换中文括号横线等等然后在strtolow，这样比对起来成功匹配率在98%），然后在入库（网站基础规划就不详解了，如感兴趣可联系我）。

以京东为例爬虫如下：

! /usr/bin/python

#utf-8

import re

import os

import sys

import time

import urllib2

import cookielib

from bs4 import BeautifulSoup

reload(sys)

sys.setdefaultencoding('utf-8')

class jdSpider:

def __init__(self, url, header, header2, brand):

self.url = url

self.header = header

self.header2 = header2

self.brand = brand

def crawl(self):

req = urllib2.Request(self.url, headers = self.header)

con = urllib2.urlopen(req)

html = con.read()

con.close()

soup = BeautifulSoup(html)

one = soup.find('ul', {'class' : 'gl-warp'})

two = one.find_all('li', {'class' : 'gl-item'})

i = 0

c = ''

img = ''

base = 'http:'

for three in two:

i = i + 1

print i

if i > 0:

img = base + str(three.find('img').get('data-lazy-img'))

four = three.find('div', {'class' : 'p-name'})

product_link = base + str(four.find('a').get('href'))

product_name = four.find('em').get_text()

req2 = urllib2.Request(product_link, headers = self.header2)

con2 = urllib2.urlopen(req2)

html2 = con2.read()

con2.close()

soup2 = BeautifulSoup(html2)

five = soup2.find('table', {'class' : 'Ptable'})

if five:

six = five.find_all('td')

j = 1

tag = ''

brand = ''

param = ''

for seven in six:

if j == 2:

brand = seven.get_text().strip()

if j == 4:

tag = seven.get_text().strip()

if j % 2 == 1:

param = param + seven.get_text().strip() + '||'

else:

param = param + seven.get_text().strip() + '|||'

j = j + 1

c = 'jd^^^' + brand + '^^^' + tag + '^^^' + product_name + '^^^' + product_link + '^^^' + img + '^^^' + param + '\n'

print c

if __name__ == '__main__':

'

header = {'Host': 'list.jd.com',

'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; rv:26.0) Gecko/20100101 Firefox/26.0',

'Accept': 'textml,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',

'Accept-Encoding': 'deflate',

'Connection': 'keep-alive'}

header2 = {'Host': 'item.jd.com',

'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; rv:26.0) Gecko/20100101 Firefox/26.0',

'Accept': 'textml,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',

'Accept-Encoding': 'deflate',

'Connection': 'keep-alive'}

brand = raw_input("Product: ")

url = raw_input("Url: ")

spider = jdSpider(url, header, header2, brand)

spider.crawl()

以上代码可供大家研究版权归属Hi张大妈比价，由于python是速成，请大家轻喷，当然也希望大家支持Hi张大妈（hizdm.com）!