증분 데이터 인덱싱 달성
하나, 우리는 충분한 준비의 증분 하중 지수를 달성하기 위해 수행 사용 mysql-binlog-connector-java
의 MySQL의 바이너리 로그 모니터를 구현하는 오픈 소스 구성 요소는, 바이너리 로그 관련 지식에, 당신은 자신의 네트워크에 액세스 할 수 있습니다. 또는 당신은 할 수mailto:[email protected]
우리가 증분 데이터 처리를 달성하기 위해, 데이터 객체에 따라 바이너리 로그이 섹션에서 우리는 광고 증분 데이터는, 사실, 그 백색, 증분 데이터 증분 색인을 달성하기 위해 늦게 광고 색인 서비스 할 수 있도록하는 것입니다 구성 세대. 의 코드를 보자.
- 증분 데이터 (정의 타겟팅 우리 바이너리 로그 로그 변환을 수신 파라미터) 전달 인터페이스를 정의
/**
* ISender for 投递增量数据 方法定义接口
*
* @author <a href="mailto:[email protected]">Isaac.Zhang | 若初</a>
*/
public interface ISender {
void sender(MysqlRowData rowData);
}
- 청취자는 증분 색인을 생성
/**
* IncrementListener for 增量数据实现监听
*
* @author <a href="mailto:[email protected]">Isaac.Zhang | 若初</a>
* @since 2019/6/27
*/
@Slf4j
@Component
public class IncrementListener implements Ilistener {
private final AggregationListener aggregationListener;
@Autowired
public IncrementListener(AggregationListener aggregationListener) {
this.aggregationListener = aggregationListener;
}
//根据名称选择要注入的投递方式
@Resource(name = "indexSender")
private ISender sender;
/**
* 标注为 {@link PostConstruct},
* 即表示在服务启动,Bean完成初始化之后,立刻初始化
*/
@Override
@PostConstruct
public void register() {
log.info("IncrementListener register db and table info.");
Constant.table2db.forEach((tb, db) -> aggregationListener.register(db, tb, this));
}
@Override
public void onEvent(BinlogRowData eventData) {
TableTemplate table = eventData.getTableTemplate();
EventType eventType = eventData.getEventType();
//包装成最后需要投递的数据
MysqlRowData rowData = new MysqlRowData();
rowData.setTableName(table.getTableName());
rowData.setLevel(eventData.getTableTemplate().getLevel());
//将EventType转为OperationTypeEnum
OperationTypeEnum operationType = OperationTypeEnum.convert(eventType);
rowData.setOperationTypeEnum(operationType);
//获取模版中该操作对应的字段列表
List<String> fieldList = table.getOpTypeFieldSetMap().get(operationType);
if (null == fieldList) {
log.warn("{} not support for {}.", operationType, table.getTableName());
return;
}
for (Map<String, String> afterMap : eventData.getAfter()) {
Map<String, String> _afterMap = new HashMap<>();
for (Map.Entry<String, String> entry : afterMap.entrySet()) {
String colName = entry.getKey();
String colValue = entry.getValue();
_afterMap.put(colName, colValue);
}
rowData.getFieldValueMap().add(_afterMap);
}
sender.sender(rowData);
}
}
열기 바이너리 로그 모니터
- 첫째, 데이터베이스 연결 정보 바이너리 로그를 구성하는 듣고
adconf:
mysql:
host: 127.0.0.1
port: 3306
username: root
password: 12345678
binlogName: ""
position: -1 # 从当前位置开始监听
구성 클래스를 작성한다 :
/**
* BinlogConfig for 定义监听Binlog的配置信息
*
* @author <a href="mailto:[email protected]">Isaac.Zhang | 若初</a>
*/
@Component
@ConfigurationProperties(prefix = "adconf.mysql")
@Data
@AllArgsConstructor
@NoArgsConstructor
public class BinlogConfig {
private String host;
private Integer port;
private String username;
private String password;
private String binlogName;
private Long position;
}
우리는 그 부분 바이너리 로그 듣고 실현, 우리는 사용자 정의 클라이언트 구현 CustomBinlogClient
, 우리가 작업을 깨닫게 리스너 클라이언트가 될 독립형 스레드해야하며, 프로그램이 시작할 때 듣고, 바이너리 로그 듣기를 달성 할 필요가 길의 현재의 클라이언트, 우리가 새로운 러너 사용 org.springframework.boot.CommandLineRunner
의하자 코드를.
@Slf4j
@Component
public class BinlogRunner implements CommandLineRunner {
@Autowired
private CustomBinlogClient binlogClient;
@Override
public void run(String... args) throws Exception {
log.info("BinlogRunner is running...");
binlogClient.connect();
}
}
증분 데이터 전달
듣기의 과정에서 바이너리 로그, 우리는 int로 특정 참조 문자열 필드와 같은 데이터는 기록 MySQL은 아무 문제가 없지만, 시간을 입력 할 수있는, 그것은 문자열 형식으로 포맷 : Fri Jun 21 15:07:53 CST 2019
.
--------Insert-----------
WriteRowsEventData{tableId=91, includedColumns={0, 1, 2, 3, 4, 5, 6, 7}, rows=[
[10, 11, ad unit test binlog, 1, 0, 1236.7655, Thu Jun 27 08:00:00 CST 2019, Thu Jun 27 08:00:00 CST 2019]
--------Update-----------
UpdateRowsEventData{tableId=81, includedColumnsBeforeUpdate={0, 1, 2, 3, 4, 5}, includedColumns={0, 1, 2, 3, 4, 5}, rows=[
{before=[10, Isaac Zhang, 2D3ABB6F2434109A105170FB21D00453, 0, Fri Jun 21 15:07:53 CST 2019, Fri Jun 21 15:07:53 CST 2019], after=[10, Isaac Zhang, 2D3ABB6F2434109A105170FB21D00453, 1, Fri Jun 21 15:07:53 CST 2019, Fri Jun 21 15:07:53 CST 2019]}
이 시간 형식, 우리 2:00 정보에 초점을 맞출 필요가있다 :
- CST, 우리의 시간 + 8 시간 이상의 시간 형식 (: 00 중국 표준시 중국 표준시 UT + 8)
- 우리는 지금까지이 과정을 설명 할 필요가
물론, 우리는 또한이에, 날짜 형식에 MySQL을 설정하여이 동작을 변경할 수 있습니다, 우리의 시간 형식을 인코딩하여이 문제를 해결하려면 :
/**
* Thu Jun 27 08:00:00 CST 2019
*/
public static Date parseBinlogString2Date(String dateString) {
try {
DateFormat dateFormat = new SimpleDateFormat(
"EEE MMM dd HH:mm:ss zzz yyyy",
Locale.US
);
return DateUtils.addHours(dateFormat.parse(dateString), -8);
} catch (ParseException ex) {
log.error("parseString2Date error:{}", dateString);
return null;
}
}
인덱스가 매직 넘버 허용 코드 사양에 따라, 테이블 (레벨) 세트 사이의 계층 적 관계를 기반으로 할 때 우리는 정의, 그래서 우리는 데이터 레벨을 표현하기 위해, 데이터 열거의 계층 구조를 정의하기 때문에.
/**
* AdDataLevel for 广告数据层级
*
* @author <a href="mailto:[email protected]">Isaac.Zhang | 若初</a>
*/
@Getter
public enum AdDataLevel {
LEVEL2("2", "level 2"),
LEVEL3("3", "level 3"),
LEVEL4("4", "level 4");
private String level;
private String desc;
AdDataLevel(String level, String desc) {
this.level = level;
this.desc = desc;
}
}
데이터 전달을 위해
증분 데이터가 서로 다른 위치와 목적에 전달 될 수 있기 때문에, 우리는 계면 전에 전송 구현 com.sxzhongf.ad.sender.ISender
, 우리는 전송을 달성 카테고리 :
@Slf4j
@Component("indexSender")
public class IndexSender implements ISender {
/**
* 根据广告级别,投递Binlog数据
*/
@Override
public void sender(MysqlRowData rowData) {
if (AdDataLevel.LEVEL2.getLevel().equals(rowData.getLevel())) {
Level2RowData(rowData);
} else if (AdDataLevel.LEVEL3.getLevel().equals(rowData.getLevel())) {
Level3RowData(rowData);
} else if (AdDataLevel.LEVEL4.getLevel().equals(rowData.getLevel())) {
Level4RowData(rowData);
} else {
log.error("Binlog MysqlRowData error: {}", JSON.toJSONString(rowData));
}
}
private void Level2RowData(MysqlRowData rowData) {
if (rowData.getTableName().equals(Constant.AD_PLAN_TABLE_INFO.TABLE_NAME)) {
List<AdPlanTable> planTables = new ArrayList<>();
for (Map<String, String> fieldValueMap : rowData.getFieldValueMap()) {
AdPlanTable planTable = new AdPlanTable();
//Map的第二种循环方式
fieldValueMap.forEach((k, v) -> {
switch (k) {
case Constant.AD_PLAN_TABLE_INFO.COLUMN_PLAN_ID:
planTable.setPlanId(Long.valueOf(v));
break;
case Constant.AD_PLAN_TABLE_INFO.COLUMN_USER_ID:
planTable.setUserId(Long.valueOf(v));
break;
case Constant.AD_PLAN_TABLE_INFO.COLUMN_PLAN_STATUS:
planTable.setPlanStatus(Integer.valueOf(v));
break;
case Constant.AD_PLAN_TABLE_INFO.COLUMN_START_DATE:
planTable.setStartDate(CommonUtils.parseBinlogString2Date(v));
break;
case Constant.AD_PLAN_TABLE_INFO.COLUMN_END_DATE:
planTable.setEndDate(CommonUtils.parseBinlogString2Date(v));
break;
}
});
planTables.add(planTable);
}
//投递推广计划
planTables.forEach(p -> AdLevelDataHandler.handleLevel2Index(p, rowData.getOperationTypeEnum()));
} else if (rowData.getTableName().equals(Constant.AD_CREATIVE_TABLE_INFO.TABLE_NAME)) {
List<AdCreativeTable> creativeTables = new LinkedList<>();
rowData.getFieldValueMap().forEach(afterMap -> {
AdCreativeTable creativeTable = new AdCreativeTable();
afterMap.forEach((k, v) -> {
switch (k) {
case Constant.AD_CREATIVE_TABLE_INFO.COLUMN_CREATIVE_ID:
creativeTable.setAdId(Long.valueOf(v));
break;
case Constant.AD_CREATIVE_TABLE_INFO.COLUMN_TYPE:
creativeTable.setType(Integer.valueOf(v));
break;
case Constant.AD_CREATIVE_TABLE_INFO.COLUMN_MATERIAL_TYPE:
creativeTable.setMaterialType(Integer.valueOf(v));
break;
case Constant.AD_CREATIVE_TABLE_INFO.COLUMN_HEIGHT:
creativeTable.setHeight(Integer.valueOf(v));
break;
case Constant.AD_CREATIVE_TABLE_INFO.COLUMN_WIDTH:
creativeTable.setWidth(Integer.valueOf(v));
break;
case Constant.AD_CREATIVE_TABLE_INFO.COLUMN_AUDIT_STATUS:
creativeTable.setAuditStatus(Integer.valueOf(v));
break;
case Constant.AD_CREATIVE_TABLE_INFO.COLUMN_URL:
creativeTable.setAdUrl(v);
break;
}
});
creativeTables.add(creativeTable);
});
//投递广告创意
creativeTables.forEach(c -> AdLevelDataHandler.handleLevel2Index(c, rowData.getOperationTypeEnum()));
}
}
private void Level3RowData(MysqlRowData rowData) {
...
}
/**
* 处理4级广告
*/
private void Level4RowData(MysqlRowData rowData) {
...
}
}
MQ 증분 데이터 전달 (카프카)
위해서는 우리의 데이터를보다 유연, 편리하고 수요 통계 및 분석 시스템을 넣어, 우리는 메시지 인터페이스를 달성하기 위해 넣어해야합니다, 당신은 데이터 구독을 구현하기 위해 현재의 MQ 주제의 다른 서비스에 가입 할 수 있습니다.
配置文件中配置TOPIC
adconf:
kafka:
topic: ad-search-mysql-data
--------------------------------------
/**
* KafkaSender for 投递Binlog增量数据到kafka消息队列
*
* @author <a href="mailto:[email protected]">Isaac.Zhang | 若初</a>
* @since 2019/7/1
*/
@Component(value = "kafkaSender")
public class KafkaSender implements ISender {
@Value("${adconf.kafka.topic}")
private String topic;
@Autowired
private KafkaTemplate kafkaTemplate;
/**
* 发送数据到kafka队列
*/
@Override
public void sender(MysqlRowData rowData) {
kafkaTemplate.send(
topic, JSON.toJSONString(rowData)
);
}
/**
* 测试消费kafka消息
*/
@KafkaListener(topics = {"ad-search-mysql-data"}, groupId = "ad-search")
public void processMysqlRowData(ConsumerRecord<?, ?> record) {
Optional<?> kafkaMsg = Optional.ofNullable(record.value());
if (kafkaMsg.isPresent()) {
Object message = kafkaMsg.get();
MysqlRowData rowData = JSON.parseObject(
message.toString(),
MysqlRowData.class
);
System.out.println("kafka process MysqlRowData: " + JSON.toJSONString(rowData));
//sender.sender();
}
}
}