WindowsにScrapyをインストールする【Python】

Windows7 + Python3.6.4にScrapyをインストールしようと思い、仮想環境を作って、

1
pip install scrapy

したら、

1
error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

みたいなエラーががが。
Microsoft Visual C++ 14.0がない?
調べてみると、WindowsにScrapyをインストールする場合は、一部パッケージにコンパイル作業が必要だと分かりました。

なので、Download the Visual C++ Build Tools (standalone C++ compiler, libraries and tools)をダウンロード&インストールします。
コンパイラも含まれているそうです。

Scrapy

コンパイラのインストールも完了したところで、もう一度、

1
pip install scrapy

で、いけました。
先ほどはコケたTwistedというライブラリ(Scrapyが内部で使用している)のインストールも無事成功しました。

1
2
Running setup.py install for Twisted ... done
Successfully installed Twisted-17.9.0 parsel-1.4.0 scrapy-1.5.0 w3lib-1.19.0

ただし、まだ動きません。
このままクローラーを走らせても、

1
ModuleNotFoundError: No module named 'win32api'

というエラーが出ます。
win32apiというモジュールがないようです。
公式にも書かれていますが、pywin32をインストールしないとダメなようです。
pip経由でいけるようなのでインストールします。

1
pip install pywin32

これでScrapyのセッティングは完了です。
ちなみに、下記の本を教科書としてPythonを勉強していますが、基本的にMacユーザーを想定して書かれているのでWindowsユーザーの自分は思いもかけない箇所でよくつまづきます。

PythonってWindowsユーザーにはちょっぴり不利でしょうか?
本自体はとても丁寧でいい本です。


python - Error while installing Scrapy error: Microsoft Visual C++ 14.0 is required - Stack Overflow
Scrapy のクローリング中に win32api が無くてコケる問題に対処(Windows10, 64bit, Python2.7) - 無駄と文化


開発環境
WinOS : Windows7(64bit)
Python : 3.6.4(64bit)
Visual C++ Build Tools : 2015(14.0?)
Scrapy : 1.5.0
pywin32 : 222

広告