RocketMQ 笔记2 文件存储

MappedFileQueue 代表一类文件集合，比如consumequeue/{topic}/{queueId}/目录下的所有文件
MappedFile 代表一个文件，是对这个文件操作的封装
CommitLog 代表所有的commitLog文件，里面有一个MappedFileQueue的字段
ConsumeQueue 代表了topic+queueId的所有consumeQueue文件，里面也有一个MappedFileQueue

DefaultMessageStore存储操作类

private final CommitLog commitLog;

    private final ConcurrentMap<String/* topic */, ConcurrentMap<Integer/* queueId */, ConsumeQueue>> consumeQueueTable;


    private final FlushConsumeQueueService flushConsumeQueueService;//consumeQueue文件刷盘线程


    private final CleanCommitLogService cleanCommitLogService;//定时清理commitLog线程


    private final CleanConsumeQueueService cleanConsumeQueueService;//定时清理consumeQueue线程


    private final IndexService indexService;//索引文件


    private final AllocateMappedFileService allocateMappedFileService;


    private final ReputMessageService reputMessageService;//监控commitLog文件有变化写consumeQueue


    private final HAService haService;

1.org.apache.rocketmq.store.DefaultMessageStore.load() 加载文件过程
org.apache.rocketmq.store.MappedFileQueue.load()中加载目录下所有文件，设置position
mappedFile.setWrotePosition(this.mappedFileSize);
mappedFile.setFlushedPosition(this.mappedFileSize);
mappedFile.setCommittedPosition(this.mappedFileSize);
这样的话假如最后一个文件没有写满，停机，再启动好像不会接着写这个文件，会重新新建一个后续文件写消息

2.org.apache.rocketmq.store.DefaultMessageStore.putMessage(MessageExtBrokerInner) 写消息过程->
this.commitLog.putMessage(msg) 拿到最后一个mappedFile文件，可能需要新建文件，使用这个文件写入 ->

org.apache.rocketmq.store.MappedFile.appendMessage(MessageExtBrokerInner, AppendMessageCallback)
如果writeBuffer不为null，会先写到writeBuffer缓存里面，后续又线程定时commit写到fileChannel里面，写消息格式

org.apache.rocketmq.store.CommitLog.DefaultAppendMessageCallback.doAppend(long, ByteBuffer, int, MessageExtBrokerInner)

写完后wrotePosition增加写的长度

3.org.apache.rocketmq.store.CommitLog.handleDiskFlush(AppendMessageResult, PutMessageResult, MessageExt) 刷盘过程
同步刷盘：
向GroupCommitService提交一个GroupCommitRequest，同时阻塞线程，等待刷盘结果
GroupCommitService的doCommit方法，在刷盘（CommitLog.this.mappedFileQueue.flush(0)）结束后唤醒上面的线程，返回最终结果

异步刷盘：
唤醒FlushRealTimeService，定时调用mappedFileQueue.flush刷盘

4.consumeQueue文件的写入
org.apache.rocketmq.store.DefaultMessageStore.ReputMessageService 启动后监控commitLog文件MaxOffset有无变化，
当有变化时候
SelectMappedBufferResult result = DefaultMessageStore.this.commitLog.getData(reputFromOffset) 拿到新消息，设置新的MaxOffset

从ByteBuffer中读取消息内容，构建DispatchRequest，包含topic，topic，commitLogOffset，msgSize，tagsCode，有了这些就可以写consumeQueue文件了
DispatchRequest dispatchRequest =
DefaultMessageStore.this.commitLog.checkMessageAndReturnSize(result.getByteBuffer(), false, false);

调用DefaultMessageStore.this.doDispatch(dispatchRequest)
CommitLogDispatcherBuildConsumeQueue 写consumeQueue文件
CommitLogDispatcherBuildIndex 写index文件

5.文件结构
CommitLog
每个文件的大小默认为1G,commitlog的文件名fileName，名字长度为20位，左边补0，剩余为起始偏移量，比如 00000000000000000000 代表了第一个文件，起始偏移量为 0，文件大小为 1G=1073741824；当这个文件满了，第二个文件名字为 00000000001073741824

Consumequeue
消息起始物理偏移量(physical offset, long 8字节)+消息大小(int,4字节)+tagsCode(long 8字节)
每个 cosumequeue 文件的名称 fileName，名字长度为 20 位，左边补零，剩余为起始偏量；比如 00000000000000000000 代表了第一个文件，起始偏移量为 0，文件大小为 600W，当第一个文件满之后创建的第二个文件的名字为00000000000006000000，起始偏移量为6000000，以此类推，第三个文件名字为00000000000012000000，起始偏移量12000000。消息存储的时候会顺序写入文件，当文件满了，写入下一个文件。

6.broker读消息过程
org.apache.rocketmq.broker.processor.PullMessageProcessor.processRequest(Channel, RemotingCommand, boolean) 收到拉取消息请求

org.apache.rocketmq.store.DefaultMessageStore.getMessage(String, String, int, long, int, MessageFilter) 使用DefaultMessageStore读消息

ConsumeQueue consumeQueue = findConsumeQueue(topic, queueId) 找到对应consumeQueue

SelectMappedBufferResult bufferConsumeQueue = consumeQueue.getIndexBuffer(offset) 读取指定偏移处的ConsumeQueue内容

long offsetPy = bufferConsumeQueue.getByteBuffer().getLong();
int sizePy = bufferConsumeQueue.getByteBuffer().getInt();
long tagsCode = bufferConsumeQueue.getByteBuffer().getLong(); 得到消息偏移地址，大小，tagsCode

SelectMappedBufferResult selectResult = this.commitLog.getMessage(offsetPy, sizePy); 使用commitLog读取消息内容

RocketMQ 笔记2 文件存储

猜你喜欢