Centos7-Pyspider单机版安装

山西快乐十分走势 www.yfhdr.cn 安装的centos版本:CentOS-7-x86_64-DVD-1804.iso

安装的python版本:Python3.6.2

系统为最干净的系统,只安装了一个界面,界面不安装也可以

  1. centos7自带版本为:

[[email protected] ~]# python

Python 2.7.5 (default, Apr 11 2018, 07:36:10)

[GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux2

Type "help", "copyright", "credits" or "license" for more information.

>>> 

  1. 安装python3.

下面介绍python3的安装方法:需要root权限

首先安装依赖包:

yum -y groupinstall "Development tools"

yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

然后根据自己需求下载不同版本的Python3,我下载的是Python3.6.2

wget https://www.python.org/ftp/python/3.6.2/Python-3.6.2.tar.xz

解压压缩包,进入该目录,安装python3

tar -xvJf  Python-3.6.2.tar.xz

cd Python-3.6.2

./configure --prefix=/usr/local/python3

make && make install

最后创建软连接

ln -s /usr/local/python3.5/bin/python3 /usr/bin/python3

echo "/usr/local/python3.5/lib" > /etc/ld.so.conf.d/python3.5.conf

ldconfig

/usr/local/python3/bin/pip3 install --upgrade pip

ln -s /usr/local/python3/bin/pip /usr/bin/pip

在命令行中进行测试:

[[email protected] Python-3.6.2]# python3

Python 3.6.2 (default, Jul 13 2018, 09:35:56)

[GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux

Type "help", "copyright", "credits" or "license" for more information.

>>> exit() #退出

安装pyspider:

         单机版:根据官网安装:

yum更新:

yum update

遇见询问Y or N 统一输入Y

安装wget:

yum install wget

 

安装扩展源:

yum -y install epel-release

安装开发编译环境

yum install gcc gcc-c++

安装依赖库:

yum install python-pip python-devel python-distribute libxml2 libxml2-devel python-lxml libxslt libxslt-devel openssl openssl-devel

键盘输入Y

 

键盘输入y

升级pip(可选操作)

pip install --upgrade pip

出现这个错误:

 

解决办法:

更改pip的源:我更改为清华大学的源

修改 ~/.pip/pip.conf (没有就创建一个), 内容如下:
[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple

再次执行命令:

 

安装pyspider

pip install pyspider

报错:

 

解决方法:

        yum install libcurl-devel

 

再次执行安装命令:

报错:

 

解决方法:

         首先卸载掉原来安装的pycurl

    pip  uninstall pycurl

然后

    wget //curl.haxx.se/download/curl-7.36.0.tar.gz

    wget https://pypi.python.org/packages/source/p/pycurl/pycurl-7.19.3.1.tar.gz

这里要先安装curl再安装pycurl

1,安装curl

    tar -zxvf curl-7.36.0.tar.gz 

    cd curl-7.36.0/

    ./configure 

    make && make install

     export LD_LIBRARY_PATH=/usr/local/lib    #这一步至关重要,否则就会报上面所说的错误

     注意export,也就是说只能在当前终端有效,另开一个终端会失效

2,安装pycurl

    tar -zxvf pycurl-7.19.3.1.tar.gz

    cd pycurl-7.19.3.1

    执行下面任意一条安装命令,如果报错就执行另一条

    python setup.py install --curl=/usr/local/bin/curl

    python setup.py install --curl-config=/usr/local/bin/curl-config

再次执行:

pip install pyspider

安装成功:

 

启动:

pyspider all

访问:localhost:5000 或者ip:5000

如果访问不成功:尝试

开放5000(pyspider默认打开5000端口,如果启动指定了其它端口请对应修改)端口并重启防火墙。如果防火墙是关闭状态请跳过下面两步

firewall-cmd --zone=public --add-port=5000/tcp --permanent
firewall-cmd --reload

 

posted @ 2018-07-13 17:20 dong66 阅读(...) 评论(...) 编辑 收藏
  • 溃疡恶变也会腹痛 这些肿瘤最容易被误诊 2018-09-04
  • 候选企业:光大证券股份有限公司 2018-09-04
  • 25年全球健康三大变化 2018-07-26
  • 林肯中心室内乐协会再掀浪潮 完整录音入驻中国 亚洲巡演整装待发 室内乐 厂牌 2018-07-25
  • 社会主义是过渡阶段,最终实现共产主义才是其目的。社会主义是在消灭私有制,建立公有制直至无私,实现共产主义。 2018-07-25
  • 呼死你团伙被摧毁 封停83万余个账号抓获210余人 2018-07-25
  • 回复@老老保老张工:伪高工不仅智力低下,知识也很匮乏也!连啥叫计划经济都没搞懂! 2018-07-24
  • 中国经济充当了世界经济发展的火车头。但是,作为世界经济火车头的中国,在世界主要经济体股市都走牛的情况下,为何熊途漫漫?这种不正常的现象,背后是我们资本市场的投融 2018-07-24
  • 社评:中国打的是对美贸易自卫反击战 2018-07-24
  • 世界献血者日 近距离接触一袋合格血的成长历程 2018-07-23
  • 便道汛期被淹学生上学遇阻 来凤老伯坚持背娃过河40年 2018-07-23
  • 以朝鲜民主主义人民共和国为例,难道特金会是由朝鲜工人、农民主导的?[哈哈] 2018-07-23
  • 设计众议院:神奇的MQB让全新一代宝来重生 2018-07-22
  • 回复@不能这样啊:那你不是可以啥事不做天天甩起手耍?你自己不求上进还不准别人有所追求么? 2018-07-22
  • 三位基层书记的一周:思想不转换 其他都白扯 2018-07-22
  • 755| 294| 660| 224| 694| 339| 859| 159| 715| 647|