zookeeper实现分布式锁-JAVA从入门到精通
龚超 2018-06-28 来源 : 阅读 679 评论 0

摘要:本文主要向大家介绍了JAVA从入门到精通的zookeeper实现分布式锁,希望对大家学习zookeeper实现分布式锁有所帮助,让大家在JAVA从入门到精通的路上走的更远。

本文主要向大家介绍了JAVA从入门到精通的zookeeper实现分布式锁,希望对大家学习zookeeper实现分布式锁有所帮助,让大家在JAVA从入门到精通的路上走的更远。

一、分布式锁介绍

分布式锁主要用于在分布式环境中保护跨进程、跨主机、跨网络的共享资源实现互斥访问,以达到保证数据的一致性。

二、架构介绍

在介绍使用Zookeeper实现分布式锁之前,首先看当前的系统架构图


解释: 左边的整个区域表示一个Zookeeper集群,locker是Zookeeper的一个持久节点,node_1、node_2、node_3是locker这个持久节点下面的临时顺序节点。client_1、client_2、client_n表示多个客户端,Service表示需要互斥访问的共享资源。

三、分布式锁获取思路

1.获取分布式锁的总体思路

在获取分布式锁的时候在locker节点下创建临时顺序节点,释放锁的时候删除该临时节点。客户端调用createNode方法在locker下创建临时顺序节点,然后调用getChildren(“locker”)来获取locker下面的所有子节点,注意此时不用设置任何Watcher。客户端获取到所有的子节点path之后,如果发现自己在之前创建的子节点序号最小,那么就认为该客户端获取到了锁。如果发现自己创建的节点并非locker所有子节点中最小的,说明自己还没有获取到锁,此时客户端需要找到比自己小的那个节点,然后对其调用exist()方法,同时对其注册事件监听器。之后,让这个被关注的节点删除,则客户端的Watcher会收到相应通知,此时再次判断自己创建的节点是否是locker子节点中序号最小的,如皋是则获取到了锁,如果不是则重复以上步骤继续获取到比自己小的一个节点并注册监听。当前这个过程中还需要许多的逻辑判断。

2.获取分布式锁的核心算法流程

下面同个一个流程图来分析获取分布式锁的完整算法,如下:


解释:客户端A要获取分布式锁的时候首先到locker下创建一个临时顺序节点(node_n),然后立即获取locker下的所有(一级)子节点。

此时因为会有多个客户端同一时间争取锁,因此locker下的子节点数量就会大于1。对于顺序节点,特点是节点名称后面自动有一个数字编号,先创建的节点数字编号小于后创建的,因此可以将子节点按照节点名称后缀的数字顺序从小到大排序,这样排在第一位的就是最先创建的顺序节点,此时它就代表了最先争取到锁的客户端!此时判断最小的这个节点是否为客户端A之前创建出来的node_n,如果是则表示客户端A获取到了锁,如果不是则表示锁已经被其它客户端获取,因此客户端A要等待它释放锁,也就是等待获取到锁的那个客户端B把自己创建的那个节点删除。

此时就通过监听比node_n次小的那个顺序节点的删除事件来知道客户端B是否已经释放了锁,如果是,此时客户端A再次获取locker下的所有子节点,再次与自己创建的node_n节点对比,直到自己创建的node_n是locker的所有子节点中顺序号最小的,此时表示客户端A获取到了锁!

四、基于Zookeeper的分布式锁的代码实现

1.定义分布式锁接口

定义的分布式锁接口如下:


public interface DistributedLock {
/**获取锁,如果没有得到就等待*/
public void acquire() throws Exception;
/**
* 获取锁,直到超时
* @param time超时时间
* @param unit time参数的单位
* @return是否获取到锁
* @throws Exception
*/
public boolean acquire (long time, TimeUnit unit) throws Exception;
/**
* 释放锁
* @throws Exception
*/
public void release() throws Exception;
}

复制代码

2.定义一个简单的互斥锁

定义一个互斥锁类,实现以上定义的锁接口,同时继承一个基类BaseDistributedLock,该基类主要用于与Zookeeper交互,包含一个尝试获取锁的方法和一个释放锁。


/**锁接口的具体实现,主要借助于继承的父类BaseDistributedLock来实现的接口方法
* 该父类是基于Zookeeper实现分布式锁的具体细节实现*/
public class SimpleDistributedLockMutex extends BaseDistributedLock implements DistributedLock {
/*用于保存Zookeeper中实现分布式锁的节点,如名称为locker:/locker,
*该节点应该是持久节点,在该节点下面创建临时顺序节点来实现分布式锁 */
private final String basePath;
/*锁名称前缀,locker下创建的顺序节点例如都以lock-开头,这样便于过滤无关节点
*这样创建后的节点类似:lock-00000001,lock-000000002*/
private staticfinal String LOCK_NAME ="lock-";
/*用于保存某个客户端在locker下面创建成功的顺序节点,用于后续相关操作使用(如判断)*/
private String ourLockPath;
/**
* 用于获取锁资源,通过父类的获取锁方法来获取锁
* @param time获取锁的超时时间
* @param unit time的时间单位
* @return是否获取到锁
* @throws Exception
*/
private boolean internalLock (long time, TimeUnit unit) throws Exception {
//如果ourLockPath不为空则认为获取到了锁,具体实现细节见attemptLock的实现
ourLockPath = attemptLock(time, unit);
return ourLockPath !=null;
}
/**
* 传入Zookeeper客户端连接对象,和basePath
* @param client Zookeeper客户端连接对象
* @param basePath basePath是一个持久节点
*/
public SimpleDistributedLockMutex(ZkClientExt client, String basePath){
/*调用父类的构造方法在Zookeeper中创建basePath节点,并且为basePath节点子节点设置前缀
*同时保存basePath的引用给当前类属性*/
super(client,basePath,LOCK_NAME);
this.basePath = basePath;
}
/**获取锁,直到超时,超时后抛出异常*/
public void acquire() throws Exception {
//-1表示不设置超时时间,超时由Zookeeper决定
if (!internalLock(-1,null)){
throw new IOException("连接丢失!在路径:'"+basePath+"'下不能获取锁!");
}
}
/**
* 获取锁,带有超时时间
*/
public boolean acquire(long time, TimeUnit unit) throws Exception {
return internalLock(time, unit);
}
/**释放锁*/
public void release()throws Exception {
releaseLock(ourLockPath);
}
}



复制代码

3. 分布式锁的实现细节

获取分布式锁的重点逻辑在于BaseDistributedLock,实现了基于Zookeeper实现分布式锁的细节。


public class BaseDistributedLock {
private final ZkClientExt client;
private final String path;
private final String basePath;
private final String lockName;
private static final Integer MAX_RETRY_COUNT = 10;
public BaseDistributedLock(ZkClientExt client, String path, String lockName){
this.client = client;
this.basePath = path;
this.path = path.concat("/").concat(lockName);
this.lockName = lockName;
}
private void deleteOurPath(String ourPath) throws Exception{
client.delete(ourPath);
}
private String createLockNode(ZkClient client, String path) throws Exception{
return client.createEphemeralSequential(path, null);
}
/**
* 获取锁的核心方法
* @param startMillis
* @param millisToWait
* @param ourPath
* @return
* @throws Exception
*/
private boolean waitToLock(long startMillis, Long millisToWait, String ourPath) throws Exception{
boolean haveTheLock = false;
boolean doDelete = false;
try{
while ( !haveTheLock ) {
//该方法实现获取locker节点下的所有顺序节点,并且从小到大排序
Listchildren = getSortedChildren();
String sequenceNodeName = ourPath.substring(basePath.length()+1);
//计算刚才客户端创建的顺序节点在locker的所有子节点中排序位置,如果是排序为0,则表示获取到了锁
int ourIndex = children.indexOf(sequenceNodeName);
/*如果在getSortedChildren中没有找到之前创建的[临时]顺序节点,这表示可能由于网络闪断而导致
*Zookeeper认为连接断开而删除了我们创建的节点,此时需要抛出异常,让上一级去处理
*上一级的做法是捕获该异常,并且执行重试指定的次数 见后面的 attemptLock方法 */
if ( ourIndex<0 ){
throw new ZkNoNodeException("节点没有找到: " + sequenceNodeName);
}
//如果当前客户端创建的节点在locker子节点列表中位置大于0,表示其它客户端已经获取了锁
//此时当前客户端需要等待其它客户端释放锁,
boolean isGetTheLock = ourIndex == 0;
//如何判断其它客户端是否已经释放了锁?从子节点列表中获取到比自己次小的哪个节点,并对其建立监听
String pathToWatch = isGetTheLock ? null : children.get(ourIndex - 1);
if ( isGetTheLock ){
haveTheLock = true;
}else{
//如果次小的节点被删除了,则表示当前客户端的节点应该是最小的了,所以使用CountDownLatch来实现等待
String previousSequencePath = basePath .concat( "/" ) .concat( pathToWatch );
final CountDownLatch latch = new CountDownLatch(1);
final IZkDataListener previousListener = new IZkDataListener() {
//次小节点删除事件发生时,让countDownLatch结束等待
//此时还需要重新让程序回到while,重新判断一次!
public void handleDataDeleted(String dataPath) throws Exception {
latch.countDown();
}
public void handleDataChange(String dataPath, Object data) throws Exception {
// ignore
}
};
try{
//如果节点不存在会出现异常
client.subscribeDataChanges(previousSequencePath, previousListener);
if ( millisToWait != null ){
millisToWait -= (System.currentTimeMillis() - startMillis);
startMillis = System.currentTimeMillis();
if ( millisToWait <= 0 ){
doDelete = true; // timed out - delete our node
break;
}
latch.await(millisToWait, TimeUnit.MICROSECONDS);
}else{
latch.await();
}
}catch ( ZkNoNodeException e ){
//ignore
}finally{
client.unsubscribeDataChanges(previousSequencePath, previousListener);
}
}
}
}catch ( Exception e ){
//发生异常需要删除节点
doDelete = true;
throw e;
}finally{
//如果需要删除节点
if ( doDelete ){
deleteOurPath(ourPath);
}
}
return haveTheLock;
}
private String getLockNodeNumber(String str, String lockName) {
int index = str.lastIndexOf(lockName);
if ( index >= 0 ){
index += lockName.length();
return index <= str.length() ? str.substring(index) : "";
}
return str;
}
private ListgetSortedChildren() throws Exception {
try{
Listchildren = client.getChildren(basePath);
Collections.sort(
children,
new Comparator(){
public int compare(String lhs, String rhs){
return getLockNodeNumber(lhs, lockName).compareTo(getLockNodeNumber(rhs, lockName));
}
}
);
return children;
}catch(ZkNoNodeException e){
client.createPersistent(basePath, true);
return getSortedChildren();
}
}
protected void releaseLock(String lockPath) throws Exception{
deleteOurPath(lockPath);
}
protected String attemptLock(long time, TimeUnit unit) throws Exception{
final long startMillis = System.currentTimeMillis();
final Long millisToWait = (unit != null) ? unit.toMillis(time) : null;
String ourPath = null;
boolean hasTheLock = false;
boolean isDone = false;
int retryCount = 0;
//网络闪断需要重试一试
while ( !isDone ){
isDone = true;
try{
//createLockNode用于在locker(basePath持久节点)下创建客户端要获取锁的[临时]顺序节点
ourPath = createLockNode(client, path);
/**
* 该方法用于判断自己是否获取到了锁,即自己创建的顺序节点在locker的所有子节点中是否最小
* 如果没有获取到锁,则等待其它客户端锁的释放,并且稍后重试直到获取到锁或者超时
*/
hasTheLock = waitToLock(startMillis, millisToWait, ourPath);
}catch ( ZkNoNodeException e ){
if ( retryCount++ < MAX_RETRY_COUNT ){
isDone = false;
}else{
throw e;
}
}
}
if ( hasTheLock ){
return ourPath;
}
return null;
}

复制代码

本文由职坐标整理并发布,希望对同学们有所帮助。了解更多详情请关注编程语言JAVA频道!

本文由 @职坐标 发布于职坐标。未经许可,禁止转载。
喜欢 | 0 不喜欢 | 0
看完这篇文章有何感觉?已经有0人表态,0%的人喜欢 快给朋友分享吧~
评论(0)
后参与评论
本文作者 联系TA

擅长针对企业软件开发的产品设计及开发的细节与流程设计课程内容。座右铭:大道至简!

  • 370
    文章
  • 23049
    人气
  • 87%
    受欢迎度

已有23人表明态度,87%喜欢该老师!

进入TA的空间
求职秘籍 直通车
  • 索取资料 索取资料 索取资料
  • 答疑解惑 答疑解惑 答疑解惑
  • 技术交流 技术交流 技术交流
  • 职业测评 职业测评 职业测评
  • 面试技巧 面试技巧 面试技巧
  • 高薪秘笈 高薪秘笈 高薪秘笈
TA的其他文章 更多>>
WEB前端必须会的基本知识题目
经验技巧 93% 的用户喜欢
Java语言中四种遍历List的方法总结(推荐)
经验技巧 91% 的用户喜欢
Java语言之SHA-256加密的两种实现方法详解
经验技巧 75% 的用户喜欢
java语言实现把两个有序数组合并到一个数组的实例
经验技巧 75% 的用户喜欢
通过Java语言代码来创建view的方法
经验技巧 80% 的用户喜欢
其他海同师资 更多>>
吕益平
吕益平 联系TA
熟悉企业软件开发的产品设计及开发
孔庆琦
孔庆琦 联系TA
对MVC模式和三层架构有深入的研究
周鸣君
周鸣君 联系TA
擅长Hadoop/Spark大数据技术
范佺菁
范佺菁 联系TA
擅长Java语言,只有合理的安排和管理时间你才能做得更多,行得更远!
金延鑫
金延鑫 联系TA
擅长与学生或家长及时有效沟通
经验技巧30天热搜词 更多>>

您输入的评论内容中包含违禁敏感词

我知道了

助您圆梦职场 匹配合适岗位
验证码手机号,获得海同独家IT培训资料
选择就业方向:
人工智能物联网
大数据开发/分析
人工智能Python
Java全栈开发
WEB前端+H5

请输入正确的手机号码

请输入正确的验证码

获取验证码

您今天的短信下发次数太多了,明天再试试吧!

提交

我们会在第一时间安排职业规划师联系您!

您也可以联系我们的职业规划师咨询:

小职老师的微信号:z_zhizuobiao
小职老师的微信号:z_zhizuobiao

版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
 沪公网安备 31011502005948号    

©2015 www.zhizuobiao.com All Rights Reserved

208小时内训课程