最近做的两个项目都要分析第三方数据,有数据采集的需求,pyspider是一个中小型项目采集的利器 官方文档:http://docs.pyspider.org/en/latest/ 首先把版本用virtualenv来做隔离环境,使用python3来躲掉一些坑 mkdir -p /data/virtualenv/pyspider cd /data/virtualenv/pyspider virtualenv -p /usr/local/bin/python3 py3env source ./py3env/bin/activate pip install pyspider 如果python升级后(brew upgrade),会发现如下错误 (py3env)…