普通Python学习让人倦

同学们，这次我们要学习用Python来做爬虫，爬取的是深度学习的训练资料。估计这么一说，大部分同学是这样的。

少部分同学可能觉得爬虫和深度学习比较时髦，还能硬着头皮来听讲，但心里肯定直打鼓，“这肯定是从入门到放弃吧？”

好吧，这次用不一样的方法，先让大家看时尚综艺节目吧，里面有很多PLMM，至于学习嘛，先放后面。怎么样？有精神了吧。让我们开始看看综艺，解解乏。

综艺是什么？

这次有很多PLMM的节目就是，《青春有你第二季》。109位选手，通过任务、训练、考核，让选手在明星导师训练下成长，最终选出9位选手，组成偶像团体出道。可以说，PLMM多的很，让我们先看几位。

LISA（舞蹈导师）

泰国籍女歌手

代表作品：WHISTLE、BOOMBAYAH

哦，这不是选手，是出席嘉宾。呵呵，看花眼了。马上选手就来。

选手来了，就直接截图了啊。

还有很多啊，大家千万别忘了，学习Python才是目标。这次的目标是，

本次实践使用Python来爬取百度百科中《青春有你2》所有参赛选手的信息。

所有的PLMM图片都爬取下来，这次就干这个，至于拿来干嘛？别想歪了，留个悬念，后面会有更精彩的答案。

下面介绍爬取的思路和关键点。

爬取图片思路和关键

爬虫大家平常听的比较多，很多人也把爬虫想得比较神秘。下面就先科普下Python来爬资料的原理。

首先，从大家上网开始讲起。

作为一个普通上网用户，要浏览网站，首先打开浏览器 ，输入网址，浏览器往目标站点发送请求。 浏览器接收网站响应数据，然后浏览器将内容 渲染到页面上。用户看到访问内容就完成了一个普通浏览过程。

那么模拟我们日常访问的爬虫程序是怎么执行的呢？为什么要模拟？这个问题问的好。

只有模拟了人访问的爬虫才能最大程度得到理想的数据，而不用担心被封杀。好，下面是爬虫程序执行原理。

首先爬虫程序模拟浏览器，往目标站点发送请求。爬虫程序接收网站响应数据后，从中提取有用的数据 。最后保存下来。

大家明白原理后，作为一个爬虫应该有的程序逻辑就跃然于纸上。

爬虫的过程：

1.发送请求（requests模块）

2.获取响应数据（服务器返回）

3.解析并提取数据（BeautifulSoup查找或者re正则）

4.保存数据

爬虫过程中两个库，requests和BeautifulSoup下面就重点讲解下。

request模块：

requests是python实现的简单易用的HTTP库，官网地址：http://cn.python-requests.org/zh_CN/latest/

requests.get(url)可以发送一个http get请求，返回服务器响应内容。

BeautifulSoup库：

BeautifulSoup 是一个可以从HTML或XML文件中提取数据的Python库。网址：https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/

BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,其中一个是 lxml。

BeautifulSoup(markup, "html.parser")或者BeautifulSoup(markup, "lxml")，推荐使用lxml作为解析器,因为效率更高。

参赛选手爬取具体代码

是不是想跃跃欲试呢？下面看好了，爬取百度百科中《青春有你2》中所有参赛选手信息，返回HTML的代码来了!

Python代码如下：

def parse_wiki_data(table_html):
    '''
    从百度百科返回的html中解析得到选手信息，以当前日期作为文件名，存JSON文件,保存到work目录下
    '''
    bs = BeautifulSoup(str(table_html),'lxml')
    all_trs = bs.find_all('tr')

    error_list = ['\'','\"']

    stars = []

    for tr in all_trs[1:]:
         all_tds = tr.find_all('td')

         star = {}

         #姓名
         star["name"]=all_tds[0].text
         #个人百度百科链接
         star["link"]= 'https://baike.baidu.com' + all_tds[0].find('a').get('href')
         #籍贯
         star["zone"]=all_tds[1].text
         #星座
         star["constellation"]=all_tds[2].text
         #身高
         star["height"]=all_tds[3].text
         #体重
         star["weight"]= all_tds[4].text

         #花语,去除掉花语中的单引号或双引号
         flower_word = all_tds[5].text
         for c in flower_word:
             if  c in error_list:
                 flower_word=flower_word.replace(c,'')
         star["flower_word"]=flower_word 
         
         #公司
         if not all_tds[6].find('a') is  None:
             star["company"]= all_tds[6].find('a').text
         else:
             star["company"]= all_tds[6].text  

         stars.append(star)

    json_data = json.loads(str(stars).replace("\'","\""))   
    with open('work/' + today + '.json', 'w', encoding='UTF-8') as f:
        json.dump(json_data, f, ensure_ascii=False)

上面代码爬了内容，并返回html，下面就要对爬取的页面数据进行解析，并保存为JSON文件。为什么要保存json文件呢？因为你肯定不想每次抓图都去爬全部的页面，而是先把全部页面保存下来，然后再慢慢分析每个保存的页面中的图片链接，然后再真正把图爬下来。要说明的是，PLMM的图，不要放弃哦。

def parse_wiki_data(table_html):
    '''
    从百度百科返回的html中解析得到选手信息，以当前日期作为文件名，存JSON文件,保存到work目录下
    '''
    bs = BeautifulSoup(str(table_html),'lxml')
    all_trs = bs.find_all('tr')

    error_list = ['\'','\"']

    stars = []

    for tr in all_trs[1:]:
         all_tds = tr.find_all('td')

         star = {}

         #姓名
         star["name"]=all_tds[0].text
         #个人百度百科链接
         star["link"]= 'https://baike.baidu.com' + all_tds[0].find('a').get('href')
         #籍贯
         star["zone"]=all_tds[1].text
         #星座
         star["constellation"]=all_tds[2].text
         #身高
         star["height"]=all_tds[3].text
         #体重
         star["weight"]= all_tds[4].text

         #花语,去除掉花语中的单引号或双引号
         flower_word = all_tds[5].text
         for c in flower_word:
             if  c in error_list:
                 flower_word=flower_word.replace(c,'')
         star["flower_word"]=flower_word 
         
         #公司
         if not all_tds[6].find('a') is  None:
             star["company"]= all_tds[6].find('a').text
         else:
             star["company"]= all_tds[6].text  

         stars.append(star)

    json_data = json.loads(str(stars).replace("\'","\""))   
    with open('work/' + today + '.json', 'w', encoding='UTF-8') as f:
        json.dump(json_data, f, ensure_ascii=False)

下面来干货了，真正爬取每个选手的百度百科图片，并进行保存。

def crawl_pic_urls():
    '''
    爬取每个选手的百度百科图片，并保存
    ''' 
    with open('work/'+ today + '.json', 'r', encoding='UTF-8') as file:
         json_array = json.loads(file.read())

    headers = { 
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36' 
     }

    for star in json_array:

        name = star['name']
        link = star['link']

        pic_urls.append(link)
          
        down_pic(name,pic_urls)

     

上面收集了每张图片链接，下面开始真正每张图下载了，伟大时刻开启。

def down_pic(name,pic_urls):
    '''
    根据图片链接列表pic_urls, 下载所有图片，保存在以name命名的文件夹中,
    '''
    path = 'work/'+'pics/'+name+'/'

    if not os.path.exists(path):
      os.makedirs(path)

    for i, pic_url in enumerate(pic_urls):
        try:
            pic = requests.get(pic_url, timeout=15)
            string = str(i + 1) + '.jpg'
            with open(path+string, 'wb') as f:
                f.write(pic.content)
                print('成功下载第%s张图片: %s' % (str(i + 1), str(pic_url)))
        except Exception as e:
            print('下载第%s张图片时失败: %s' % (str(i + 1), str(pic_url)))
            print(e)
            continue

打印爬取的所有图片的路径

def show_pic_path(path):
    '''
    遍历所爬取的每张图片，并打印所有图片的绝对路径
    '''
    pic_num = 0
    for (dirpath,dirnames,filenames) in os.walk(path):
        for filename in filenames:
           pic_num += 1
           print("第%d张照片：%s" % (pic_num,os.path.join(dirpath,filename)))           
    print("共爬取《青春有你2》选手的%d照片" % pic_num)
    

写好了每个功能模块，让他们都转起来。

if __name__ == '__main__':

     #爬取百度百科中《青春有你2》中参赛选手信息，返回html
     html = crawl_wiki_data()

     #解析html,得到选手信息，保存为json文件
     parse_wiki_data(html)

     #从每个选手的百度百科页面上爬取图片,并保存
     crawl_pic_urls()

     #打印所爬取的选手图片路径
     show_pic_path('/home/aistudio/work/pics/')

     print("所有信息爬取完成！")

开始转起来。真正的把100多位漂亮妹子的图从网上抓下来，是多么的壮观。让大家看看效果。

如果你的网络没问题，不多会，你就发现，选手的照片都躺到硬盘上了。开心吧，下面会讲到让你更意外的精彩。

真正的目的

有了这么多美女的照片，我们最后是要做什么呢？

最后的目的是让大家掌握人工智能领域现在最火热的深度学习。大家也知道从2015年开始，各大公司，包括阿里，头条等，用天价的薪酬来招聘深度学习工程师。对，就是接下来大家要掌握的深度学习。

下面的深度学习就会用爬下来的美女照片教会机器，不！应该说用美女照片做训练集，让机器在这个数据集上进行训练，然后就可以进行比如人像识别等很精彩的应用了。

深度学习一般过程如下：

说了这么多，这个课程的来源可是大厂出品哦。本课来源于百度出品的《Python小白逆袭大神》，而且是免费的。

欢迎大家继续关注本公号，我将继续为大家带来更多有趣解读的深度学习课程内容。