光说有毛用


程序猿的小本本

last update:

安装scrapy

Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试
Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。
Scrach,是抓取的意思,这个Python的爬虫框架叫Scrapy,大概也是这个意思吧,就叫它:小刮刮吧。[from百度百科]

 

0x00. 准备环境

linux环境请首先升级python版本到python2.7.10

参考链接

http://www.gsymy.com/2015/09/12/centos_python2-7.html

0x01. 开始安装

 

sudo yum install libffi-devel -y
pip install Scrapy

0x02. 现在来解决第一个坑

centos 系统默认带的python是2.6的,现在最新的一些程序很多要求python2.7,根据我的经验写一下整个过程 0x01. 下载python2.7.10源码 wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz 0x02. 解压缩&编译 tar xvf Python-2.7.10.tgz cd Python-2.7.10 ./configure make sudo make install 0x03. 修改系统默认python sudo rm /usr/bin/python sudo ln -s /usr/local/bin/python /usr/bin/python sudo rm /usr/bin/python-config sudo ln -s /usr/local/bin/python2.7-config /usr/bin/python-config 0x04. 恢复yum python版本 centos的yum 必须要使用python 2.6 否则可能会导致包管理不正常,修改方法: sudo vim /usr/bin/yum 修改第一行内容 #!/usr/bin/python 为 #!/usr/bin/python2.6 sudo vim /usr/bin/easy_install-2.6 按照上面的方法恢复 0x05. 安装2.7的easy_install wget http://peak.telecommunity.com/dist/ez_setup.py sudo python ez_setup.py 0x06. 安装pip(可选) 到页面 https://pypi.python.org/pypi/pip#downloads 找到最新版本的pip wget --no-check-certificate https://pypi.python.org/packages/source/p/pip/pip-7.1.2.tar.gz#md5=3823d2343d9f3aaab21cf9c917710196 tar xvf pip-7.

似乎任何职业都会给从业人员带来这样那样的习惯。

编程已给程序猿带来很多坏习惯,编程也每天在继续给程序猿新增更多的坏习惯。当然有些习惯和编程无关了。下面这些习惯尽管程序猿也很想改掉,但已根深蒂固。

用十六进制代码中的像素和颜色来解释某东西的大小;在天地万物中,去发现多态、继承和模式;

在日常交谈中用代码相关的抽象术语。

0. 程序员数数会从0开始数起.

例: 程序员吵 架的时候会说: “我数三下, 你再不闭嘴我就不客气了! 零! 一! 二!” 或者列清单的时候编号会从0.开始写.

因: array[0]是数组的第一个元素.

评: 这个习惯的养成是一个艰难的过程. 多少次的越界, 多少次的循环次数错误让我们深深的记住了从0开始.

**

**

1. 程序员用肯定和否定 回答选择性的问题.

例: 问 “您想喝咖啡还是喝茶?” 程序员答: “嗯.”

因: 当条件或||有一个子句值为真, 则整个语句值为真.

评: 这个习惯夸张了一点, 但这的确是程序员思维方式的通病, 用计算机的处理逻辑处理人类问题. 当然这样的回答显然是存在编程错误的, 因为对于这个问题他错误的返回了布尔型的值. 虽然高度怀疑有没有人关心这种回答的结果是怎样, 还是给出一个答案. 如果真的在程序的世界里, 服务员会优先考虑给你咖啡, 如果没有咖啡了, 才会端茶给你.

**

**