51Testing软件测试论坛

标题: 安装搭建pyspider遇到的坑 [打印本页]
作者: 测试积点老人    时间: 2018-12-6 14:13
标题: 安装搭建pyspider遇到的坑
1.更新
  1. sudo apt-get update
复制代码

2.pip
  1. python -m pip install -U pip
复制代码

3.安装依赖包
  1. <p>sudo apt-get install python-dev</p><p>python-distribute</p><p>libcurl4-openssl-dev</p><p>libxml2-dev</p><p>libxslt1-dev</p><p>pythonlxml</p><p>python-pip</p>
复制代码

4.安装pyspider
  1. <p>pip install pyspider</p>
复制代码

5.安装phanmtojs
  1. sudo apt-get install phantomjs
复制代码

6.启动pyspider
  1. pyspider all
复制代码

报错：1.phanmtojs端口已被占用：
使用netstat -atunlp 查看进程ip号
kill ip号，之后重新启动pyspider

报错 2.找不到依赖包pycurl，apt_pkg: sudo pip install apt_pkg
    sudo pip install pycurl

报错 pycurl安装失败
原因x86..gnu-gcc:
(sudo pip3 uninstall pycurl 卸载
sudo pip3 install pycurl 重安
sudo pip install gcc
sudo apt-get install gcc 安装gcc
sudo apt-get install zlib1g-dev
sudo apt-get install libevent-dev 安装不知道什么的依赖包
sudo apt-get install python-twisted-web python2.7-dev
)

以上是找不到原因之后胡乱安装一堆依赖包，但好像是执行一下两个命令才成功安装了pycurl。

sudo apt install python3.6-dev  我怀疑是因为本地Python版本太高导致报错，是Python3以上的
sudo pip install pycurl

重新启动pyspider：（pyspider --phantomjs-proxy="localhost:25555"）

报错：企图修改只读数据库
原因：权限问题
sudo chown -R xufei:xufei /usr/local/lib/python3.6/dist-packages/pyspider 其中xufei为本地的用户名
后面为pyspider的路径。可以通过再次安装pip install pyspider 查看






欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/) Powered by Discuz! X3.2