Python学习系列之爬虫框架Scrapy和相关依赖项的安装详解

浏览: 2176

背景介绍

Python基础学习完了,花了几个小时把爬虫框架以及相关依赖项搭了下,毋庸置疑出现很多安装失败的问题,觉得有必要写篇文章整理下。

前提是已经安装Python3.6

环境介绍

Python版本:Python3.6

Window版本:win10,64位

安装步骤

注意:安装相关项的步骤最好按照如图自下而上的顺序安装,否则可能会出现安装失败,提示需要别的包支持。

Clipboard Image.png

a.相关依赖项介绍与安装

lxml:python中处理xml的一个非常强大的库,可以非常方便的解析和生成xml文件。

pywin32:python通过pywin32访问windows系统API的库

Twisted:用Python实现的基于事件驱动的网络引擎框架

pyOpenSSL:是为了加强网络信息安全的一套机制接口实现库,SSL网络协议方面知识,有兴趣可以自己去了解下。

zope.interface:Python支持多继承,但是不支持接口,zope.inteface是其三方的接口实现库,在twisted中有大量使用.


Python3.6中pip自带的包管理工具,在命令界面,输入命令 pip install zope.interface 会自动下载安装。因为我之前安装过了。所以提示已经存在了。

Clipboard Image.png

同理lxml,pywin32,Twisted,pyOpenSSL,scrapy的安装一样。命令 pip install *的格式(根据上流程图按顺序按装)。

理想状态下是没问题的。也只是理想状态。下面就说说我遇到的问题

安装问题   

 1.在安装Twisted时,报错安装失败。因为twisted源代码安装方式,需要C编译环境,如果有安装vc开发环境就可以通过,也可以下载MinGW的来编译,方法(我本地安装MinGW)。然后再执行 pip install Twisted,自行下载对应版本并安装。出于好奇,我用的是下面的方法。

  2.Python Extension Packages for Windows在这个链接下载对应版本cp36的whl

    2.1 安装wheel,在命令窗口

           pip install wheel

             2.2 命令窗口进入.whl所在的文件夹,执行命令即可完成安装pip install 带后缀的完整文件名,如图符合环境的文件

          Clipboard Image.png

 命令如图,到此本机安装成功,别忘了环境变量的配置,添加你的python解释器的路径和scrapy所在的文件夹路径后,可以开始爬虫之旅了。

          Clipboard Image.png


附加

用pycharm编译器的朋友可能就不要这么麻烦了,快捷键ctr +alt+s。

Clipboard Image.png

点击绿色+号,搜索需要的包,点击安装即可,它会根据你当前版本下载安装,安装顺序逻辑不变。是不是很方便。

Clipboard Image.png

推荐 3
本文由 粽子job 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

0 个评论

要回复文章请先登录注册