如何在Windows下安装Scrapy

浏览: 1586

image.png

有读者问到了如何在windows下安装scrapy。由于scrapy依赖非常多的第三方库,所以这篇介绍windows下安装scrapy的步骤。

目前scrapy在windows下已支持Python3.

(1)安装Visual C++ Build Tools

由于Scrapy的依赖库文件中,pywin32和Twisted的底层是基于C语言开发的,因此需要安装C语言的编译环境。对于Python3.5来说,可以通过安装Visual C++ Build Tools来安装这个环境。Visual C++ Build Tools这个工具是微软开发的,下载地址为:Download the Visual C++ Build Tools (standalone C++ compiler, libraries and tools)

image.png

点击【安装】按钮进行安装,这个安装器会自动下载所需文件。安装时间一般在45~60分钟左右。可能有些机器在安装的过程中,出现下图所示的界面:

image.png

这是因为系统没有安装.Net Framework或者安装的版本过低。下载并安装一个4.5.1或以上版本的.Net Framework即可。这里给出.Net Framework 4.5.2的微软官方下载地址:Download Microsoft .NET Framework 4.5.2 (Web Installer) for Windows Vista SP2, Windows 7 SP1, Windows 8, Windows 8.1, Windows Server 2008 SP2 Windows Server 2008 R2 SP1, Windows Server 2012 and Windows Server 2012 R2 from Official Microsoft Download Center

安装好.Net Framework以后,Microsoft Visual C++ Build Tools应该就可以正常安装了。

(2)安装pywin32

在Windows系统里面,有两个第三方库不能使用常规的方法安装。第一个是lxml,第二个是pywin32,pywin32和lxml一样,不建议使用pip来安装,因为十个人里面,至少有九个人都会安装出错,并且pywin32也不能使用安装lxml的方式来安装。

pywin32 必需使用exe安装包来进行安装,下载地址为:Python for Windows Extensions
根据电脑Python版本和位数下载并安装最新版的pywin32,它会自动寻找Python的安装路径,所以不需要做任何修改,一直单击【下一步】即可。下图是Python 3.5版本的pywin32安装过程的截图:

image.png

(3)安装Twisted

Scrapy需要依赖Twisted。Twisted是Python下面一个非常重要的基于事件驱动的IO引擎。Twisted的安装依赖于pywin32和前面的Visual C++ Build Tools,所以必需先安装完成这两个东西以后才能安装Twisted。

pip  install twisted

(4)pip 安装Scrapy

pip  install scrapy

写一个简单的scrapy语句,证明爬虫可以正常运行:

image.png

推荐 1
本文由 watermelon 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

0 个评论

要回复文章请先登录注册