背景介绍
Python基础学习完了,花了几个小时把爬虫框架以及相关依赖项搭了下,毋庸置疑出现很多安装失败的问题,觉得有必要写篇文章整理下。
前提是已经安装Python3.6
环境介绍
Python版本:Python3.6
Window版本:win10,64位
安装步骤
注意:安装相关项的步骤最好按照如图自下而上的顺序安装,否则可能会出现安装失败,提示需要别的包支持。
a.相关依赖项介绍与安装
lxml:python中处理xml的一个非常强大的库,可以非常方便的解析和生成xml文件。
pywin32:python通过pywin32访问windows系统API的库
Twisted:用Python实现的基于事件驱动的网络引擎框架
pyOpenSSL:是为了加强网络信息安全的一套机制接口实现库,SSL网络协议方面知识,有兴趣可以自己去了解下。
zope.interface:Python支持多继承,但是不支持接口,zope.inteface是其三方的接口实现库,在twisted中有大量使用.
Python3.6中pip自带的包管理工具,在命令界面,输入命令 pip install zope.interface 会自动下载安装。因为我之前安装过了。所以提示已经存在了。
同理lxml,pywin32,Twisted,pyOpenSSL,scrapy的安装一样。命令 pip install *的格式(根据上流程图按顺序按装)。
理想状态下是没问题的。也只是理想状态。下面就说说我遇到的问题
安装问题
1.在安装Twisted时,报错安装失败。因为twisted源代码安装方式,需要C编译环境,如果有安装vc开发环境就可以通过,也可以下载MinGW的来编译,方法(我本地安装MinGW)。然后再执行 pip install Twisted,自行下载对应版本并安装。出于好奇,我用的是下面的方法。
2.Python Extension Packages for Windows在这个链接下载对应版本cp36的whl
2.1 安装wheel,在命令窗口
pip install wheel
2.2 命令窗口进入.whl所在的文件夹,执行命令即可完成安装pip install 带后缀的完整文件名,如图符合环境的文件
命令如图,到此本机安装成功,别忘了环境变量的配置,添加你的python解释器的路径和scrapy所在的文件夹路径后,可以开始爬虫之旅了。
附加
用pycharm编译器的朋友可能就不要这么麻烦了,快捷键ctr +alt+s。
点击绿色+号,搜索需要的包,点击安装即可,它会根据你当前版本下载安装,安装顺序逻辑不变。是不是很方便。