zookeeper源码解析: 分布式锁

我所了解到的, 目前分布式锁主要有三种实现方式:1是数据库,2是redis,3 是zookeeper 本文主要介绍下zookeeper 是如何实现分布式锁,已经做一点相关的源码解析。

下面描述使用zookeeper实现分布式锁的算法流程,假设存在一个/lock 的根节点。

  1. 客户端连接zookeeper,并在/lock下创建临时的且有序的子节点,第一个客户端对应的子节点为/lock/lock-000000000,第二个为/lock/lock-000000001,以此类推。

  2. 客户端获取/lock下的子节点列表,判断自己创建的子节点是否为当前子节点列表中序号最小的子节点,如果是则认为获得锁,否则监听/lock的子节点变更消息,获得子节点变更通知后重复此步骤直至获得锁;

  3. 执行相应的业务相关程序;

  4. 完成行相业务流程后,删除对应的子节点则相当于释放锁。

在步骤1中我们创建的是临时节点为什么呢,因为创建的临时节点能够保证在故障的情况下锁也能被释放。是为了考虑这种情况:假设客户端A获得了锁也就是创建的子节点为序号最小的节点,但是在获得锁之后客户端所在机器宕机了,客户端无法主动删除子节点;基于这种情况此时如果创建的是永久的节点,那么这个锁永远不会释放,那么整个程序会卡在那里;如果创建的是临时节点,客户端宕机后,过了一定时间zookeeper服务端没有收到客户端的心跳包,会判断这次会话失效,从而能将临时节点删除以至于能够及时的释放锁。

在步骤2中获取子节点列表与设置监听这两步操作的是一个原子性的操作,因为会存在一个这样的情况:假设客户端A对应子节点为/lock/lock-0000000000,客户端B对应子节点为/lock/lock-0000000001,此时客户端B获取子节点列表时发现自己不是序号最小的,但是在设置监听器前客户端A完成业务流程删除了子节点/lock/lock-0000000000,客户端B设置的监听器岂不是丢失了这个事件从而导致永远等待了?这个问题不存在的。因为zookeeper提供的API中设置监听器的操作与读操作是原子执行的,也就是说在读子节点列表时同时设置监听器,保证不会丢失事件。

在这个算法其实也有个方式比较影响效率, 这里我们假设 有100个客户端去争抢这个锁,有一个争抢成功了,另外99个会等待其他节点去释放锁。此时如果那个锁机制释放了zookeeper 需要通知其他的99个客户端,这个时候会阻塞其他的操作。按照获得锁的机制序号最小的获得锁,在这里我们设置监听的时候只需要1监听0 的事件 2监听1的事件 这样的效率会大大提高 但是也会出现一个问题 需要考虑到如果是中间节点宕机 或者其他的方式导致服务不可用了 这里需要处理的情况。

上面介绍了一下流程下面我们看一下 源码在这个包中

org.apache.zookeeper.recipes.lock

首先看下 这个类中的参数

 /**
     * 这个锁的根目录
     */
    private final String dir;
    /**
     * findPrefixInChildren  中寻找到 或者是创建的第一个文件 的名字
     */
    private String id;
    private ZNodeName idName;
    /*
     * 申请锁是第一个子文件名称 如果和id 相等那么可以获得锁
     * 单独 id 作为变量无法判断出是否能够 获得锁 通过判断
     */
    private String ownerId;
    /**
     * 最后一个 子文件名称
     */
    private String lastChildId;
    private byte[] data = {0x12, 0x34};
    /***
     * 回调函数
     */
    private LockListener callback;
    /**
     * 内部类  实现锁的具体方法 在构造函数中赋值
     */
    private LockZooKeeperOperation zop;

下面主要介绍一下 这个类中的两个核心方法 一个加锁,一个释放锁机制。
我们先看下加锁机制
描述一下大概修改首先判断id 是否存在如果不存在获取一个或者创建一个 然后获取当前的文件名字最小的那个文件名如果等于id 则获取成功 如果不等于则获取失败。如果成功获得锁则调用回调方法

 public boolean execute() throws KeeperException, InterruptedException {
            do {
                if (id == null) {
                    long sessionId = zookeeper.getSessionId();
                    String prefix = "x-" + sessionId + "-";
                    // lets try look up the current ID if we failed
                    // in the middle of creating the znode
                    findPrefixInChildren(prefix, zookeeper, dir);
                    idName = new ZNodeName(id);
                }
                List<String> names = zookeeper.getChildren(dir, false);
                if (names.isEmpty()) {
                    LOG.warn("No children in: {} when we've just created one! Lets recreate it...", dir);
                    // lets force the recreation of the id
                    id = null;
                } else {
                    // lets sort them explicitly (though they do seem to come back in order ususally :)
                    SortedSet<ZNodeName> sortedNames = new TreeSet<>();
                    for (String name : names) {
                        sortedNames.add(new ZNodeName(dir + "/" + name));
                    }
                    // 第一个子文件名称
                    ownerId = sortedNames.first().getName();
                    // 已排除的方式返回 名称小于 idName 的所有文件名称
                    SortedSet<ZNodeName> lessThanMe = sortedNames.headSet(idName);
                    if (!lessThanMe.isEmpty()) {
                        ZNodeName lastChildName = lessThanMe.last();
                        lastChildId = lastChildName.getName();
                        LOG.debug("Watching less than me node: {}", lastChildId);
                        Stat stat = zookeeper.exists(lastChildId, new LockWatcher());
                        //  如果发现发现比它小的节点则上锁失败
                        if (stat != null) {
                            return Boolean.FALSE;
                        } else {
                            LOG.warn("Could not find the stats for less than me: {}", lastChildName.getName());
                        }
                    } else {
                        if (isOwner()) {
                            LockListener lockListener = getLockListener();
                            if (lockListener != null) {
                                lockListener.lockAcquired();
                            }
                            return Boolean.TRUE;
                        }
                    }
                }
            }
            while (id == null);
            return Boolean.FALSE;
        }

释放锁机制就简单些了 删除那个临时路径同时调用回调方法

  public synchronized void unlock() throws RuntimeException {
        // 非关闭的情况才会 和id 非空的情况下才会解锁
        if (!isClosed() && id != null) {
            // we don't need to retry this operation in the case of failure
            // as ZK will remove ephemeral files and we don't wanna hang
            // this process when closing if we cannot reconnect to ZK
            try {

                ZooKeeperOperation zopdel = () -> {
                    zookeeper.delete(id, -1);
                    return Boolean.TRUE;
                };
                zopdel.execute();
            } catch (InterruptedException e) {
                LOG.warn("Unexpected exception", e);
                // set that we have been interrupted.
                Thread.currentThread().interrupt();
            } catch (KeeperException.NoNodeException e) {
                // do nothing
            } catch (KeeperException e) {
                LOG.warn("Unexpected exception", e);
                throw new RuntimeException(e.getMessage(), e);
            } finally {
                LockListener lockListener = getLockListener();
                if (lockListener != null) {
                    lockListener.lockReleased();
                }
                id = null;
            }
        }
    }

本文主要介绍了 两个方法 更多的可以到githup上面
https://github.com/haha174/zookeeper

发布了213 篇原创文章 · 获赞 35 · 访问量 85万+

猜你喜欢

转载自blog.csdn.net/u012957549/article/details/104730268