Canal安装使用

canal 1.1.1版本之后，server端可以通过简单的配置就能将订阅到的数据投递到kafka中

https://github.com/alibaba/canal/releases/download/canal-1.1.5/canal.deployer-1.1.5.tar.gz 解压即可(遇到了一些问题，改用低版本)

1.0.24下载使用：下载1.0.24的（Release v1.0.24 · alibaba/canal · GitHub）这个包 canal.deployer-1.0.24.tar.gz

启动：去bin目录下点击start.bat即可

开启mysql的binlog日志

首先看是否开启 show variables like 'log_bin'; OFF状态

然后修改my.ini文件，需要my.ini位于：C:\ProgramData\MySQL\MySQL Server 5.7，而不是位于：C:\Program Files\MySQL\MySQL Server 5.7

在最后加上两行

然后去任务管理器重启mysql，就能达到上面开启了binlog的效果

在mysql这边创建canal用户

CREATE USER canal IDENTIFIED BY 'canal';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';

GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
FLUSH PRIVILEGES;

修改 vi canal/conf/example/instance.properties

## mysql serverId
#这一段一定要和my.ini下面的不一样
canal.instance.mysql.slaveId = 1234
# position info 
# 监听的ip和端口  localhost:3306 也可以
canal.instance.master.address = 10.168.12.43:3306
canal.instance.master.journal.name =mysql-bin.000003
canal.instance.master.position =
canal.instance.master.timestamp =

……
#就创建了canal用户和密码

canal.instance.dbUsername = canal
canal.instance.dbPassword = canal
#默认是监控testcanal库
canal.instance.defaultDatabaseName =testcanal
canal.instance.connectionCharset = UTF-8

# table regex
#下面这样的写法代表监控所有的表
canal.instance.filter.regex = .*\\..*

#可以设置监控的哪些表 格式：库名.表名,
#canal.instance.filter.regex = testcanal.test1,testcanal.test2,testcanal.wtf

写代码测试下

依赖

    <dependency>
      <groupId>com.alibaba.otter</groupId>
      <artifactId>canal.client</artifactId>
      <version>1.0.24</version>
    </dependency>

package org.example;


import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.protocol.CanalEntry;
import com.alibaba.otter.canal.protocol.Message;
import com.google.protobuf.InvalidProtocolBufferException;
import java.net.InetSocketAddress;
import java.util.ArrayList;
import java.util.List;
import java.util.UUID;



public class CanalClinettest {
    public static void main(String args[]) {
        // 创建链接                                                                       这个ip是你虚拟机的ip
        CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress("localhost",11111), "example", "canal", "canal");
        int batchSize = 1000;
        int emptyCount = 0;
        try {
            connector.connect();
            connector.subscribe(".*\\..*");
            connector.rollback();
            int totalEmptyCount = 120;
            while (emptyCount < totalEmptyCount) {
                Message message = connector.getWithoutAck(batchSize); // 获取指定数量的数据
                long batchId = message.getId();
                int size = message.getEntries().size();
                if (batchId == -1 || size == 0) {
                    emptyCount++;
                    System.out.println("empty count : " + emptyCount);
                    try {
                        Thread.sleep(1000);
                    } catch (InterruptedException e) {
                    }
                } else {
                    emptyCount = 0;
                    printEntry(message.getEntries());
                }

                connector.ack(batchId); // 提交确认
            }

            System.out.println("empty too many times, exit");
        } finally {
            connector.disconnect();
        }
    }

    private static void printEntry(List<CanalEntry.Entry> entrys) {
        for (CanalEntry.Entry entry : entrys) {
            if (entry.getEntryType() == CanalEntry.EntryType.TRANSACTIONBEGIN || entry.getEntryType() == CanalEntry.EntryType.TRANSACTIONEND) {
                continue;
            }

            CanalEntry.RowChange rowChage = null;
            try {
                rowChage = CanalEntry.RowChange.parseFrom(entry.getStoreValue());
            } catch (Exception e) {
                throw new RuntimeException("ERROR ## parser of eromanga-event has an error , data:" + entry.toString(),
                        e);
            }

            CanalEntry.EventType eventType = rowChage.getEventType();
            System.out.println(String.format("================&gt; binlog[%s:%s] , name[%s,%s] , eventType : %s",
                    entry.getHeader().getLogfileName(), entry.getHeader().getLogfileOffset(),
                    entry.getHeader().getSchemaName(), entry.getHeader().getTableName(),
                    eventType));

            for (CanalEntry.RowData rowData : rowChage.getRowDatasList()) {
                if (eventType == CanalEntry.EventType.DELETE) {
                    printColumn(rowData.getBeforeColumnsList());
                } else if (eventType == CanalEntry.EventType.INSERT) {
                    printColumn(rowData.getAfterColumnsList());
                } else {
                    System.out.println("-------&gt; before");
                    printColumn(rowData.getBeforeColumnsList());
                    System.out.println("-------&gt; after");
                    printColumn(rowData.getAfterColumnsList());
                }
            }
        }
    }

    private static void printColumn(List<CanalEntry.Column> columns) {
        for (CanalEntry.Column column : columns) {
            System.out.println(column.getName() + " : " + column.getValue() + "    update=" + column.getUpdated());
        }
    }
}

测试下我的代码，增加表数据

修改数据后

删除数据后

Kakfa安装使用

Kafka安装使用需要JDK,Zk，Kafka

1.安装JKD8

不多说了

2. 安装ZOOKEEPER

Kafka的运行依赖于Zookeeper，所以在运行Kafka之前我们需要安装并运行Zookeeper

kafka0.9对应Zk3.4.6

2.1 下载安装文件： http://zookeeper.apache.org/releases.html

2.2 解压文件

2.3 打开zookeeper-3.4.6\conf，把zoo_sample.cfg重命名成zoo.cfg

2.4 从文本编辑器里打开zoo.cfg

2.5 把dataDir的值改成“D:\\workspace\\winZk\\zookeeper-3.4.6”

2.6 添加如下系统变量：

ZOOKEEPER_HOME: D:\workspace\winZk\zookeeper-3.4.6(zookeeper目录)
Path: 在现有的值后面添加 ";%ZOOKEEPER_HOME%\bin;"

2.7 运行Zookeeper: 打开cmd然后执行 zkserver

cmd 窗口不要关闭

3. 安装并运行KAFKA

3.1 下载安装文件： Apache Kafka

3.2 解压文件

3.3 打开kafka_2.11-2.0.0\config

3.4 从文本编辑器里打开 server.properties

3.5 把 log.dirs的值改成 “D:\\workspace\\winKafka\\kafka_2.11-0.9.0.1\\log”

listeners=PLAINTEXT://localhost:9092 (加上localhost,监听)

3.6 打开cmd

3.7 进入kafka文件目录: cd D:\workspace\winKafka\kafka_2.11-0.9.0.1\bin\windows(kafka目录)

3.8 启动：输入并执行

kafka-server-start.bat D:\workspace\winKafka\kafka_2.11-0.9.0.1\config\server.properties

md 窗口不要关闭

4. 创建TOPICS

4.1 打开cmd 并进入cd D:\workspace\winKafka\kafka_2.11-0.9.0.1\bin\windows

4.2 创建一个topic：

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic canal

5. 打开一个PRODUCER：

cd D:\workspace\winKafka\kafka_2.11-0.9.0.1\bin\windows
kafka-console-producer.bat --broker-list localhost:9092 --topic canal

6. 打开一个CONSUMER:

cd D:\workspace\winKafka\kafka_2.11-0.9.0.1\bin\windows
kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic canal --from-beginning

如果显示缺少ZK信息

kafka-console-consumer.bat --zookeeper localhost:2181 --bootstrap-server localhost:9092 --topic canal --from-beginning

最后在生产者这边编辑数据，可以看见消费者也有数据了