Python爬虫S08 - http post请求的数据爬取

今天开始第八关的爬钟实战。

·先看这个页面，从这个页面看起来内容跟之前最简单的第一、第二关没有太大的区别，现在这样的看不出来到底里面有什么玄机。同样的就跟之前那个套路一样，找一个类似的关卡把代码复制一下。

·看这样的页面就选第二关，为什么？是因为它的样式跟第二关都差不多。复制一下，新建一个，把它捏进去，先把其他的关了，然后把url改一下。

·第八关如果之前大家有看就知道之前那些都会有关卡的数字在这里，现在这里没有，所以就要注意了到底是需要怎么样去处理。现在先不管这个问题，先把一些准备工作做一下，把这些代码改好了，也给它配一个。

·这里出现，因为这是刚才测试的时候出的，然后就配一下执行。这时候试一下，就去执行一下脚本，看到没有？好像是抓到数据了，就去核对一下到底是不是这些数据，就看一下抓出来这个圆码。

·因为这几关用的数据都是一样，如果光看数据是看不出来，所以要往上翻一下，因为它有关卡标识。看到这里把第一关给抓下来了，现在抓的不是第二，第八关想要的没有抓下来，就说明代码是不对的，没有拿到想要的东西。

·刚才也看到了改的东西其实是不会影响去抓的，也就是代码在逻辑上面是没有错的，有可能就是第八关是不是设置了一些什么东西让我们抓不到。刚才也提醒了一下url跟之前的不太一样，可能就要从这里入手去分析一下。

·接下来也是同样的套路F12，F12之前也有粉丝私信说在电脑上面不管怎么按F12，工具就是出不来，其实往这个里叫做开发者工具，可以在菜单那里去点，去菜单那里去找。这里是一个，在菜单那里就会有能够找到开发者工具，就是通过菜单或者快捷键(Ctrl+Shift+1)就能把它调用出来，是一样的。

·现在就是回到正题上面，同样的把它切换到network那里，然后再点一下第八关，看一下浏览器发出的一些请求。看鼠标放上去，看到url，就知道其实它发出了请求，主要是这个就先打开它看一下，看到这里其实要仔细观察一下就能看到，看到没有，是用的post，可以到代码里面是用的get，明白吧？之前其实所有的都是用get，之前用的都是用get。

这个requests要怎么做？使百度一下就有，本身快手的官方文档里面就有requests，把它加上去就可以了，就要分析它的参数是什么，继续往下分析，把它拉大一点，这个是headers，这个也是headers，这个是返回的headers，这是请求的headers，下面有个form data，看到没有？level8，level8就是第8关的参数了，要怎么做？

就可以去看，payload是要一个字典(类型)，同样的也给它加个payload，然后data等于刚刚设置的pro，这里就不能是get，应该是post，就试一下，同样的有数据下来，再往上翻一下看一下关卡的数字到底是刚才的一二，是到了正确的八。

可以看到现在拿下来的已经是第八关了，其实就相当于只是换了一个请求方式，请求方式接下来这些解释了就不用看了，因为整个页面都是一样的。比如现在看第八关，抓下来数据都是一样的，因为这一关其实考察的不是这个解释，就是要找到pose相关的数请求方式跟参数。

其实这种为什么只是换了一个get或者或是一个pose这么简单，为什么要单独把它拿出来？这是因为在登录的操作里面一般来说是要用pose的，所以这个词是非常重要。

另外一个就是有一些数据，就是为了安全或者其他的一些原因，也是用pose这种方式去查或者是lasfold之类的，是get、post、put，这些都是对应不同的操作，所以这个就是浏览器除了get还有很多很多，还有好几个请求方式，就包括刚才说的那种，是每一种方式都有可能还需用到，所以用工具去调试的时候就要去注意一下这个位置，不是每次把url拷过去，然后用requestget一下就能拿得到了，有可能这里就是post或者post之类的方式，这是一个注意的点。

接下来其他就没有什么好说的，这个就是调试去找参数的问题。也说一下工具，其实工具有时候就是直接从这一行就能看得出来。怎么看？现在看这几列是没有，其实在它上面右键就可以选择要显示的那种，把这个勾起来直接就可以看得到这里，很明显这个是pose，就不用再往里面翻也可以。

这种就看每一个的操作习惯，甚至有一些可能在这边、在这里是看不到的，或者要去过滤一些东西，可以在这些选项里面对应一个个去找。其实这个工具是非常好用的，特别是后期可能要讲到一些比较复杂的一些东西，要熟练的掌握这一些东西，当然也不只是这些工具。

今天的就到这里了。