by 戴景波
Scrapy 框架实现爬虫的基本原理
Scrapy 就是封装好的框架，你可以专心编写爬虫的核心逻辑，无需自己编写与爬虫逻辑无关的代码，套用这个框架就可以实现以上功能——爬取到想要的数据。
Scrapy是一个Python实现的轻量级爬虫框架，它借助Twisted实现异步抓取。
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
本文档将通过介绍Scrapy背后的概念使您对其工作原理有所了解，如果暂时理解不深也没关系，后边会结合实例具体介绍。
Python 爬虫基本流程
A 发起请求———B 解析内容———C 获取响应内容———D 保存数据
A 通过 HTTP 向目标站点发起请求，即发送一个 Request ，请求可以包含额外的 headers 等信息，等待服务器响应。
B 得到的内容可能是 HTML ，可以用正则表达式、网页解析库进行解析。可能是 Json ，可以直接转为 Json 对象解析，可能是二进制数据，可以做保存或者进一步的处理。
C 如果服务器能正常响应，会得到一个 Response ， Response 的内容便是所要获取的页面内容，类型可能有 HTML ， Json 字符串，二进制数据（如图片视频）等类型。
D 保存形式多样，可以存为文本，也可以保存至数据库，或者保存特定格式的文件。
搭建自己本机环境如下：Windows7 64bit———Python3.7———Pycharm64
安装 Python———安装 Pycharm———安装 Scrapy———新建爬虫项目
简单解释：将 Python 比作 Java ，那么 Pycharm 就相当于 eclipse ， Pycharm 就是 Python 语言的运行环境 IDE 工具。
安装 Python
在 Python 的官网 www.python.org 中找到最新版本的 Python 安装包，点击进行下载，请注意，当你的电脑是32位的机器，请选择32位的安装包，如果是64位的，请选择64位的安装包；
我自己机器是 win7 64bit 所以我下载的是 python-3.7.4.amd64.exe，其中的 add python 3.7 to PATH 一定要勾选。
另外安装 python 路径不要有中文和空格，避免以后麻烦。后边就点击下一步即可。
如果忘记勾选则需要手动添加环境变量：（需要添加两个： c:\python3.7.0;c:\python3.7.0\Scripts）
右键计算机——点击属性——点击高级系统设置——高级——环境变量——用户变量——PATH 添加自己安装 python 的路径。
安装 Pycharm
本篇对于环境的搭建只是起到抛砖引玉的作用，建议大家以下边做参考。
https://www.runoob.com/w3cnote/pycharm-windows-install.html
安装 Scrapy
由于安装 Scrapy 不是本系列重点，所以仅展示 Windows 系统上安装 Scrapy 的步骤。注意：一定按顺序安装。 Cmd 进入 dos 窗口：
C:\Users\Administrator>python
Python 3.7.0 (v3.7.0:1bf9cc5093, Jun 27 2018, 04:59:51) [MSC v.1914 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
C:\Users\Administrator>python -m pip -V
pip 19.0.3 from c:\python3.7.0\lib\site-packages\pip (python 3.7)
1.python -m pip install --upgrade pip
2.python -m pip install Twisted-18.9.0-cp37-cp37m-win_amd64.whl
3.python -m pip install pypiwin32
4.python -m pip install scrapy
5.python -m pip install requests
如果中途安装遇到问题请及时 Google 查阅资料，查阅就是积累的过程。
Scrapy 创建新项目：
Pycharm 中用 alt+F12 切换到命令行，在命令行输入：
(venv2) E:\>scrapy startproject peilv
就会生成 Scrapy 项目，项目名称是 peilv ，结构如下：主要改写2个文件：“items、settings”，新增2个文件：“爬虫主程序”、itemcsvexporter。
peilv
scrapy.cfg #创建项目时自动生成，项目的配置文件
peilv/
__init__.py #创建项目时自动生成，无需任何改动
items.py #创建项目时自动生成，定义爬取的字段
pipelines.py #创建项目时自动生成，如存入文件，无需任何改动
settings.py #创建项目时自动生成，将爬取字段按顺序输出
middlewares.py #创建项目时自动生成，无需任何改动
spiders/
__init__.py #创建项目时自动生成，无需任何改动
itemcsvexporter.py #需自己编写，代码固定
爬虫主程序.py #需自己编写，爬虫的主程序
items.py：
## -*- coding: utf-8 -*-
import scrapy
class PeilvItem(scrapy.Item):
# define the fields for your item here like:
cc = scrapy.Field()#changci
li = scrapy.Field()#libo
b5 = scrapy.Field()#bet365
以上是定义您想抓取的数据，在Scrapy中， 这是通过 Scrapy Items 来完成的。通过scrapy.Field()方法创建需要存储的字段，比如cc存储比赛的场次信息，li存储立博的赔率信息，等等。
关于这个items.py，你只要考虑它就是一个存储数据的容器，可以考虑成一个结构体，你所有需要提取的信息都在这里面存着。
这里我们需要存储3个变量，cc，li，b5，所以我在里面加入三个变量，就这么简单。
pipelines.py：
一般来说，如果你要操作数据库什么的，需要在这里处理items，你可以把items写入数据库，但是今天我们用不到数据库，scrapy自带了一个很好的功能就是Feed exports，它支持多种格式的自动输出。
所以我们直接用这个就好了，pipelines维持不变。
settings.py：
## -*- coding: utf-8 -*-
FEED_EXPORT_ENCODING = "gb18030" #解决导出的 Excel 文件中文乱码问题
...
FEED_EXPORTERS = {
'csv': 'peilv.spiders.itemcsvexporter.itemcsvexporter',
}
FIELDS_TO_EXPORT = [
'cc',#比赛场次
'li',#立博的赔率
'b5',#bet365的赔率
]
...
FEED_EXPORT_ENCODING用gb18030常量来解决中文乱码问题，FEED_EXPORTERS表明了输出文件的格式，FIELDS_TO_EXPORT给定了输出字段的顺序。
itemcsvexporter.py：
from scrapy.conf import settings
from scrapy.exporters import CsvItemExporter
#指定输出到 csv 文件中字段的顺序，结合 setting.py
class itemcsvexporter(CsvItemExporter):
def __init__(self, *args, **kwargs):
...
这里需要注意的是有的版本不支持from scrapy.contrib.exporter import CsvItemExporter类，所以用from scrapy.exporters import CsvItemExporter替换即可。 通常结合setting中的字段顺序，规定最终CSV文件中的列排序规则。
爬虫主程序.py：(下一篇详细介绍)
## -*- coding: utf-8 -*-
ls_url = 'https://live.leisu.com/wanchang?date='#ls历史https://live.leisu.com/wanchang?date=20190606
class LiveJiangSpider(scrapy.Spider):
name = 'FBP'
allowed_domains = ['leisu.com']
def start_requests(self):
d1='20190606' #历史的比赛
request = scrapy.http.FormRequest(ls_url + d1,callback=self.parseLs, meta={'d1': d1}) #历史的比赛
# request = scrapy.http.FormRequest(wl_url + d1,callback=self.parseWl, meta={'d1': d1})#未来的比赛
yield request
def parseLs(self,response):
d2=response.meta['d1']
sel=response.xpath
racelist=[e5.split("'") for e5 in sel('//li[@data-status="8"]/@data-id').extract()]
for raceid in racelist:#raceid=['2674547'];raceid[0]=2674547
item = PeilvItem()
sel_div=sel('//li[@data-id='+str(raceid[0])+']/div[@class="find-table layout-grid-tbody hide"]/div[@class="clearfix-row"]')
if str(sel_div.xpath('span[@class="lab-lottery"]/span[@class="text-jc"]/text()').extract()) == "[]":
item['cc']=""
else:
item['cc']=str(d2) + str(sel_div.xpath('span[@class="lab-lottery"]/span[@class="text-jc"]/text()').extract()[0])
if "周" in item['cc']:#取竞彩-周一001等
plurl='https://live.leisu.com/3in1-'+raceid[0]
request = scrapy.http.FormRequest(plurl,callback=self.parse,meta={'item':item})
yield request #并非return，yield压队列，parse函数将会被当做一个生成器使用。scrapy会逐一获取parse方法中生成的结果，并没有直接执行parse，循环完成后，再执行parse
def parse(self, response):
print('--------------into parse----------------------')
item = response.meta['item']
pv=response.xpath
pl_str = '/td[@class="bd-left"]/div[@class="begin float-left w-bar-100 bd-bottom p-b-8 color-999 m-b-8"]/span[@class="float-left col-3"]/text()'
if str(pv('//*[@data-id="5"]'+pl_str).extract())=="[]":
item['li'] = ''
else:
item['li']=pv('//*[@data-id="5"]' + pl_str).extract()[0]
if str(pv('//*[@data-id="2"]'+pl_str).extract())=="[]":
item['b5'] = ''
else:
item['b5']=pv('//*[@data-id="2"]' + pl_str).extract()[0]
yield item#程序在取得各个页面的items前，会先处理完之前所有的request队列里的请求，然后再提取items
爬虫主程序实现了爬取网页数据的具体逻辑，在下一讲会结合一个具体事例详细介绍。
改写完程序后，最终执行命令： Pycharm 用 alt+F12 切换到命令行在项目 peilv 路径上执行：
(venv2) E:\>cd peilv\peilv
(venv2) E:\peilv\peilv>scrapy crawl FBP -o BaseData.csv
其中 FBP 是在“爬虫主程序.py”定义的——name = ‘FBP’，“-o BaseData.csv” 是将爬取的数据输出到 csv 文件中。
总结
以上首先创建一个工程和Spider模板，然后编写Spider，编写Item Pipeline，借助了Scrapy中的三个类——Request类、Response类和Item类。
同时我们以一个实战项目为依托，将建立 Scrapy 项目的过程从零开始，深入浅出，让读者能够实践爬虫的整个过程。
代码地址
微信扫描二维码，关注我的公众号
（点击了解： 关于程序员的专属导航！）
Post Directory