MySQL数据以全量和增量方式，同步到ES搜索引擎

最新推荐文章于 2026-02-03 10:15:00 发布

原创

最新推荐文章于 2026-02-03 10:15:00 发布 · 置顶 · 3.9k 阅读

本文详细介绍了如何将MySQL数据以全量和增量的方式同步到Elasticsearch（ES）搜索引擎，包括下载所需的软件版本（如elasticsearch 6.3.2和logstash 6.3.2），配置logstash的输入和输出参数，以及启动同步进程。同时，还提及了使用Kibana作为ES的客户端工具进行配置和访问。

知识的广度来自知识的深度，学习如果不成体系那是多可怕的一件事儿，希望我们在未来的学习道路上坚守初心，不要给自己留下遗憾，以自己喜欢的方式生活，做自己喜欢做的事，宠爱自己，做一个独一无二的自己！

对于文章中出现的任何错误请大家批评指出，会及时做出修改！
有任何想要讨论和学习的问题可联系我：cittaksana@qq.com

一、配置详解

场景描述：MySQL数据表以全量和增量的方式向ElasticSearch搜索引擎同步。

1、下载内容

elasticsearch 版本 6.3.2
logstash 版本 6.3.2
mysql-connector-java-5.1.13.jar

2、核心配置

路径：/usr/local/logstash
新建配置目录：sync-config

1)、配置全文
/usr/local/logstash/sync-config/cicadaes.conf

input {
    stdin {}
    jdbc {
        jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/cicada?characterEncoding=utf8"
        jdbc_user => "root"
        jdbc_password => "root123"
        jdbc_driver_library => "/usr/local/logstash/sync-config/mysql-connector-java-5.1.13.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_paging_enabled => "true"
        jdbc_page_size => "50000"
        jdbc_default_timezone => "Asia/Shanghai"
        statement_filepath => "/usr/local/logstash/sync-config/user_sql.sql"

标签