需要执行:

pip install scrapy
pip install requests

在Windows下用pip安装Scrapy报如下错误,看错误提示就知道去http://aka.ms/vcpython27找解决方法了

error: Microsoft Visual C++ 9.0 is required (Unable to find vcvarsall.bat). Get it from http://aka.ms/vcpython27

打开http://aka.ms/vcpython27会跳转到http://www.microsoft.com/en-us/download/confirmation.aspx?id=44266

将安装包下载

Microsoft Visual C++ Compiler for Python 2.7
回来安装即可解决问题

但是在执行如下命令

scrapy crawl beijing -o result.csv -a store_dir="./webserver/img"

的时候又报错:

exceptions.ImportError: No module named win32api
2016-05-13 11:32:57 [twisted] CRITICAL:

参考:http://sourceforge.net/projects/pywin32/,找到http://sourceforge.net/projects/pywin32/files/pywin32/中的最新的版本,然后去下载对应的版本安装即可。

不过在安装的时候又遇到问题:

Python version 2.7 required, which was not found in the registry.

这个是因为win32api有32位的,有64位的,选择合适的版本即可。