网络爬虫，是当前一个灰产项目，俗话说爬虫用的好，捞饭吃的饱！

个人爬一些公开数据用来自己研究分析，不用于商业用途，倒是没有什么风险！

部门项目定制版本众多，又经常重叠发布，导致在测试过程中出现了低级错误，就是页面404的错误！

不要问为啥不接口测试，其实之前也有做，包括通过流量跑接口比较、还有浏览器获取HAR文件解析自动生成自动化用例等；但是项目大多是定制版本，然后每个版本都有差别，而且工期紧任务急，导致这些系统都没怎么用上，最近大版本要进行发布，领导说之前版本有404的低级bug，我就再想能不能通过爬取页面的URL然后请求进行实现！

想到就做，于是乎被狠狠打脸了！

首先我想到的是使用scrapy进行爬取系统的所有URL，然后进行请求解析，把异常的页面通过管道写入到CSV文件中，当我完成登录第一步进入到首页时，发现了些问题，就是访问的页面获取到的数据都是一样的：

看到We're sorry but safe-cactus-v2 doesn't work properly without JavaScript enabled. Please enable it to continue.提示时，以为是javascript没有开启，于是乎就折腾了好长时间。

先是查询前端vue的路由模式，在确定是hash模式后，又查询nginx配置；确认一切无误后开始启用首选方案：

通过 Splash 集成 Scrapy 和 JavaScript

• github: https://github.com/scrapy-plugins/scrapy-splash
• 安装：pip install scrapy-splash
• 运行：docker run -p 8050:8050 scrapinghub/splash
• scrapy项目settings.py文件配置

1. settings.py像这样将 Splash 服务器地址添加到您的 Scrapy 项目；
2. 将 Splash 中间件添加到DOWNLOADER_MIDDLEWARES ，并更改HttpCompressionMiddleware 优先级来启用它；
3. 添加中间件SplashDeduplicateArgsMiddleware到 SPIDER_MIDDLEWARES；
4. 设置自定义DUPEFILTER_CLASS；

DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'
HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'
SPLASH_URL = 'http://10.16.53.17:8050'
HTTPCACHE_ENABLED = True
HTTPCACHE_EXPIRATION_SECS = 0
HTTPCACHE_DIR = 'httpcache'

DOWNLOADER_MIDDLEWARES = {
    'scrapy_splash.SplashCookiesMiddleware': 723,
    'scrapy_splash.SplashMiddleware': 725,
    'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
    }

SPIDER_MIDDLEWARES = {
    'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,
    }

• 项目应用

在业务请求时，只需要更换SplashRequest类进行请求就可以了，是不是很简单！

from scrapy_splash import SplashRequest
def parse_login(self, response):
    result = response.body.decode('utf-8')
    result = json.loads(result) if isinstance(result, str) else result
    if result.get("errno") != 0:
        logger.info("登录失败，用户名或密码错误")
        exit(0)
    else:
        logger.info(f"用户:{self.data['username']}, 登录成功!")
    _cookie = response.headers['Set-Cookie']
    self.headers["Cookie"] = _cookie
  
    for url in self.start_urls:
        yield SplashRequest(url, self.parse_page, headers=self.headers, 
                            cookies=_cookie, dont_filter=True)  
# dont_filter=True 忽略allowed_domains的过滤

• splash启动页面

• 爬虫获取的数据

通过调用splash返回的数据竟然是乱码，乱码，由于时间关系，碰到这个问题，就只能放弃这个方案了。

使用scrapy_Playwright和scrapy_selenium进行获取动态数据

playwright、selenium都是模拟浏览器行为渲染数据，然后把获取的页面元素通过scrapy进行解析；但是配置完也不得行。

• 首先配置playwright

安装：pip install
scrapy-playwright/scrapy-selenium

settings.py配置

DOWNLOADER_MIDDLEWARES = {
    'spider_projects.downloadermiddlewares.PlaywrightMiddleware': 543,
}
GERAPY_PLAYWRIGHT_HEADLESS = True #无头、浏览器不弹窗
GERAPY_PLAYWRIGHT_PRETEND = True
GERAPY_PLAYWRIGHT_PROXY = 'http://vpn:3333' # 代理设置
GERAPY_PLAYWRIGHT_PROXY_CREDENTIAL = {  'username': 'xxx',  'password': 'xxxx'}

• 运行结果

执行爬虫时才发现，playwright竟然不支持windows环境，这是一个悲剧哇，然后配置服务器环境测试，发现获取到的数据依然是vue配置的全局的index页面；于是改成scrapy_selenium配置。本质上playwright和selenium是相同的，所以结果也是相同的。

最后的绝招：selenium

既然scrapy搭配Splash、playwright和selenium不得行，那就单独使用selenium，这个一定是可行的。于是开始写selenium；

def main():
    driver = webdriver.Chrome(executable_path=CHROME_DRIVER_PATH)
    driver.get("http://10.20.21.185:8081/dist/#/login")
    driver.maximize_window()
    driver.implicitly_wait(3)

    driver.find_element_by_xpath("*//input[@class='el-input__inner'][1]").send_keys('admin')
    driver.find_element_by_xpath("*//input[@type='password']").send_keys("Admin@123456")
    driver.find_element_by_xpath("*//button[contains(@class,'el-button btn-login')]").click()
    driver.implicitly_wait(3)

    elem = driver.find_element_by_xpath("*//div[text()=' 数据总览 ']")
    all_href = driver.find_elements_by_xpath("(//div[@class='overflow-hidden']//ul)[1]/li/a")

    urls = [i.get_attribute('href') for i in all_href[1:]]
    print(urls)
    titles = driver.find_elements_by_xpath("//p[@class='title']")
    for i in titles:
        spans = i.find_elements_by_xpath("span")
        if len(spans) == 3:
            print(f'菜单:{spans[1].text}')
            spans[2].click()
            for t in spans[2].find_elements_by_xpath():
                pass
        else:
            print(f'按钮:{spans[1].text}')
            spans[1].click()
        driver.forward()

虽然selenium可以行，但是工作量却很大，每一个元素都需要识别验证，工作量大，成果小，感觉得不偿失，尤其是在时间紧急的情况下。

但是工作还需要做，答应了的事情，哭着也得完成，于是通过浏览器操作生成har文件，然后通过系统解析生成接口测试用例，总算把这个工作搞定；

HAR解析生成接口用例

• 上传har文件

• 解析文件

• 生成代码

• 上传执行

然后上传到服务器进行执行结果，然后把报告发送出去！

工作需要调研，不经过调研就承诺，到时候还是要被打脸，赤果果的例子，多么生动，幸好有备选方案可以使用！

#头条创作挑战赛##python#