安装搭建pyspider遇到的坑

测试积点老人

1.更新

1. sudo apt-get update

复制代码

2.pip

1. python -m pip install -U pip

复制代码

3.安装依赖包

1. <p>sudo apt-get install python-dev</p><p>python-distribute</p><p>libcurl4-openssl-dev</p><p>libxml2-dev</p><p>libxslt1-dev</p><p>pythonlxml</p><p>python-pip</p>

复制代码

4.安装pyspider

1. <p>pip install pyspider</p>

复制代码

5.安装phanmtojs

1. sudo apt-get install phantomjs

复制代码

6.启动pyspider

1. pyspider all

复制代码

报错：1.phanmtojs端口已被占用：
使用netstat -atunlp 查看进程ip号
kill ip号，之后重新启动pyspider

报错 2.找不到依赖包pycurl，apt_pkg: sudo pip install apt_pkg
    sudo pip install pycurl

报错 pycurl安装失败
原因x86..gnu-gcc:
(sudo pip3 uninstall pycurl 卸载
sudo pip3 install pycurl 重安
sudo pip install gcc
sudo apt-get install gcc 安装gcc
sudo apt-get install zlib1g-dev
sudo apt-get install libevent-dev 安装不知道什么的依赖包
sudo apt-get install python-twisted-web python2.7-dev
)

以上是找不到原因之后胡乱安装一堆依赖包，但好像是执行一下两个命令才成功安装了pycurl。

sudo apt install python3.6-dev  我怀疑是因为本地Python版本太高导致报错，是Python3以上的
sudo pip install pycurl

重新启动pyspider：（pyspider --phantomjs-proxy="localhost:25555"）

报错：企图修改只读数据库
原因：权限问题
sudo chown -R xufei:xufei /usr/local/lib/python3.6/dist-packages/pyspider 其中xufei为本地的用户名
后面为pyspider的路径。可以通过再次安装pip install pyspider 查看