Python爬虫学习笔记002——集成开发环境

作为刚开始学习Python爬虫的菜鸟，我是老老实实的跟着教程一步步建立开发环境。但成功往往都是相似的，失败却各有各的不同。在安装和使用开发环境时，你可能会遇到意想不到的问题。

一、先介绍我使用过的IDE：

1. IDLE——Python自带的，装了Python就能用，简单，体积小，零基础者一般都会先经历这个。

2. Pycharm——众多开发者推荐的，主流的开发工具，而且网上总结了各种优点。但我第一次安装完Pycharm，打开时那慢腾腾的速度实在是没给我留下什么好印象。

3. Anaconda——包括了Jupyter Notebook, Spydier, IPython编辑器。默认安装了众多的常用模块。

随大流的，我现在使用的是Pycharm + Anaconda。

二、遇到过的问题：

1. Pycharm无法运行程序

由于Pycharm安装时没有同步安装Python，所以如果只安装了Pycharm是不行的，因为没有Interpreter。

但是我在使用时，是安装了Python3.8和Anaconda3的。当选用Python3.8作为解释器时，Pycharm可以运行程序。但是选用Python3.7(Anaconda3)时，却不行。然而，我还是希望使用Anaconda3的解释器的，因为不需要自己一个一个去安装第三方包。所以做了如下尝试：

1）在Anaconda中新建了一个Python3.5的环境，Pycharm选用该环境做解释器，可以运行程序，但仍然存在着需要重新安装第三方包的问题。

2）重新安装Anaconda，未解决问题。

3）重新配置Anaconda镜像，未解决问题。

4）重新安装Pycharm，更换了版本，第二次安装的是在官网下载的PyCharm Professional Edition with Anaconda plugin 2019.3.2，问题解决。

2. Pycharm写代码不能自动补全

安装后的Pycharm在写代码时不能自动提示和补全，从网上找的解决方案逐个尝试，最终解决。

1）关闭节能模式。File --> Power Save Mode（取消勾选）

2）设置Inspections。File --> Setting --> Inspections --> 选中python 和 spelling

3. Anaconda安装第三方模块失败

不知道是什么原因，我的Anaconda在用pip或conda命令安装第三方模块时总是请求安装文件失败，更换了镜像也没有效果，下载速度总是在0~10 K之间，而且过一会儿就中断报错HTTPError了。怀疑是我自己笔记本和家里网络的问题。咋办呢？爬虫框架Scrapy不是Anaconda默认安装的，试试其它方法吧。

1）whl安装。下载地址：www.lfd.uci.edu。使用pip install [whl路径+文件名]对下载到本地whl文件进行安装。Anaconda默认安装了wheel、twisted和pywin32，所以在安装Scrapy时省去了一些麻烦。

2）Anaconda Navigator安装。按如下步骤：启动Navigator --> Enviroments --> 查找Scrapy库并选中 --> 点击Apply。

三、Anaconda镜像配置方法

1）添加清华anaconda镜像：

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/

conda config --set show_channel_urls yes

2）修改.condarc 文件：

在home/用户名/下（我的是C:\Users\Administrator）下，删除里面的 defaults。

3）查看是否生效：

通过命令 conda info 查看当前配置信息，关注 channel URLs 字段。

四、Anaconda常用命令

1）查看已安装的包：conda list

2）更新所有包：conda upgrade --all

3）安装包：conda install package_name

4）删除包：conda remove package_name

5）更新包：conda update package_name

6）不知道包名要找包：conda search name

7）用conda建立虚拟环境：conda create -n env_name list_of_packages

其中 -n 代表 name，env_name 是需要创建的环境名称，list of packages 则是列出在新环境中需要安装的工具包。

8）进入（激活）虚拟环境：conda activate env_name

9）退出虚拟环境：conda deactivate

10）删除名为 env_name 的环境：conda env remove -n env_name

11）显示所有的环境：conda env list

12）查看当前conda工具版本号：conda --version

13）查看包括版本的更多信息：conda info

14）更新conda至最新版本：conda update conda