Scrapy将数据写入到Elsaticsearch

1 安装Elasticsearch
- - - 1.0.0.1 输出本地服务端口信息（127.0.0.1:9200）等信息，表示启动成功
2 安装Elasticsearch-head
3 安装kibana
4 安装Elasticsearch-dsl

文章目录[隐藏]

安装Elasticsearch
安装Elasticsearch-head
安装kibana

安装Elasticsearch

这里我们安装的是elasticsearch-rtf
(elasticsearch中文发行版，针对中文集成了相关插件，方便新手学习测试。)

这里是github上的链接，可以使用git工具clone，或者直接下载zip，解压后的文件夹名称应该是elasticsearch-rtf-master，cd进去，执行bin里面的elasticsearch文件，windows用户应该是.bat文件，直接双击运行。

输出本地服务端口信息（127.0.0.1:9200）等信息，表示启动成功

安装Elasticsearch-head

elasticsearch的一个前端界面，可视化程度较高

这里是github的链接

（下载后，解压进入文件夹中）
cd elasticsearch-head
(安装cnpm,淘宝的镜像，加速执行过程)
npm install cnpm
cnpm install
cnpm run start

如图示，则启动成功，本地端口号:9100

安装kibana

Kibana 是一个开源的分析和可视化平台，旨在与 Elasticsearch 合作。Kibana 提供搜索、查看和与存储在 Elasticsearch 索引中的数据进行交互的功能。开发者或运维人员可以轻松地执行高级数据分析，并在各种图表、表格和地图中可视化数据。

我们去elasticsearch官网下载对应版本操作系统的kibana，kibana的版本号要和你的elasticsearch版本一致，并不一定是首页（最新版本）的那个，可以到历史发布文件里查找。下载后，进入到bin文件夹，执行kibana.bat。

成功启动的kibana:(本地端口5601)

安装Elasticsearch-dsl

进入项目的虚拟环境，安装Elasticsearch-dsl插件，此插件是对原生的elasticsearch的高级封装，简化了elasticsearch的操作，可以基于此建立与本地elasticsearch服务器的连接。

pip install elasticsearch-dsl

项目的根路径建立models文件夹，新建es_type.py文件夹,我们在里面定义文章的类型

#!/usr/bin/env python

# -*- coding: utf-8 -*-

# 引入elasticsearch的类型,DocType必须引入

from elasticsearch_dsl import DocType,Nested,Date,Boolean,analyzer,Completion,Text,Keyword,Integer

#连接到elasticsearch服务器

from elasticsearch_dsl.connections import connections

connections.create_connection(hosts=["localhost"])

# 定义字段

# 一定要继承DocType

#伯乐在线文章类型

class ArticleType(DocType):

# 字段的类型属性保存,

title = Text(analyzer="ik_max_word") # ES的text类型,并设置字段的analyzer属性

url = Keyword()

# 指定index与type

class Meta:

index = "jobbole"

doc_type = "articletest"

# 自动生成mapping

if __name__ == "__main__":

ArticleType.init()

python连接elasticsearch报IllegalOperation异常

用python连接es数据库，结果报错如下：
elasticsearch_dsl.exceptions.IllegalOperation: Index object cannot have multiple types, doc already set, trying to assign article.
这里是因为版本不匹配的问题
查看es版本方法如下：

查看elasticsearch包与elasticsearch-dsl版本方法（pip list）如下：

因为我的es是5.1.1的版本，对应的python包应该也是5.x的。先通过pip uninstall xxx卸载对应的包，然后指定版本安装：pip install elasticsearch==5.2 和 pip install elasticsearch-dsl==5.1

再运行代码就可以了

执行es_type.py，我们发现jobbole Index（数据库）已经创建好了

我们通过类初始化很容易的写入了元数据（mapping信息）

接下来我们在pipeline.py中创建一个pipeline来做数据的填充

# elasticsearch提供了数据转换python接口包elasticsearch-dsl

# 导入我们定义好的elasticsearch数据模型

from models.es_types import ArticleType

# 将数据写入到es中

class ElasticsearchPipeline(object):

# 将item转换为es的数据

def process_item(self,item,spider):

# 实例化自定义的elasticsearch数据模型

article = ArticleType()

# 把item一一对应到自定义的elasticsearch数据模型

article.title = item['title']

article.url = item['url']

# 数据保存到elasticsearch

article.save()

# 返回item，继续处理下一个item

return item

当然，不要忘了将我们的pipeline添加到settings.py文件中：

ITEM_PIPELINES = {

'ArticleSpider.pipelines.ElasticsearchPipeline':1

}

执行我们的爬虫（main文件），会看到已经插入的数据

将es数据转换，放到item里

# 导入我们定义好的elasticsearch数据模型

from models.es_types import ArticleType

class JobBoleArticleItem(scrapy.Item):

title = scrapy.Field() #类型只有scrapy提供Field

url = scrapy.Field()

url_object_id = scrapy.Field() #url的md5值

font_image_url = scrapy.Field() #封面图URL

font_image_path = scrapy.Field() #下载封面图存储路径

def save_to_es(self):