当前位置: 首页 > news >正文

基于MySQL实现分布式调度系统的选举算法

基于MySQL实现分布式调度系统的选举算法,可通过基于超时机制的数据库表驱动选主方案实现,利用数据库表协调节点间的状态,以下是Java实现的核心步骤和代码:

1. 数据库表设计

创建选主表,用于记录leader节点和状态:

CREATE TABLE leader_election (service_id varchar(128) NOT NULL,leader_id varchar(128) NOT NULL,last_seen_active timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,PRIMARY KEY (service_id)
) ENGINE=InnoDB

2. Java实现选举机制

import java.sql.*;
import java.util.concurrent.*;public class LeaderElection {private final String serviceId;      // 服务标识(如"distributed-scheduler")private final String nodeId;         // 当前节点ID(如hostname_pid)private final int electionTimeout;   // 选举超时时间(秒)private final ScheduledExecutorService scheduler;private volatile boolean isLeader = false;private Connection conn;             // MySQL连接public LeaderElection(String serviceId, String nodeId, int timeout) {this.serviceId = serviceId;this.nodeId = nodeId;this.electionTimeout = timeout;this.scheduler = Executors.newSingleThreadScheduledExecutor();// 初始化数据库连接this.conn = DriverManager.getConnection("jdbc:mysql://mysql-host:3306/db", "user", "pwd");}// 启动周期性选举public void start() {scheduler.scheduleAtFixedRate(this::attemptLeadership, 0, 1, TimeUnit.SECONDS);}// 尝试获取领导权private void attemptLeadership() {String sql = "INSERT INTO leader_election (service_id, leader_id, last_seen_active) " +"VALUES (?, ?, NOW()) " +"ON DUPLICATE KEY UPDATE " +"leader_id = IF(last_seen_active < NOW() - INTERVAL ? SECOND, VALUES(leader_id), leader_id), " +"last_seen_active = IF(leader_id = VALUES(leader_id), NOW(), last_seen_active)";try (PreparedStatement stmt = conn.prepareStatement(sql)) {stmt.setString(1, serviceId);stmt.setString(2, nodeId);stmt.setInt(3, electionTimeout);  // 超时时间(如20秒)stmt.executeUpdate();updateLeaderStatus();  // 更新当前节点状态} catch (SQLException e) {e.printStackTrace();}}// 检查当前节点是否Leaderprivate void updateLeaderStatus() throws SQLException {String query = "SELECT COUNT(*) AS is_leader FROM leader_election " +"WHERE service_id=? AND leader_id=?";try (PreparedStatement stmt = conn.prepareStatement(query)) {stmt.setString(1, serviceId);stmt.setString(2, nodeId);ResultSet rs = stmt.executeQuery();if (rs.next()) {isLeader = rs.getInt("is_leader") > 0;if (isLeader) System.out.println("✅ Current node is LEADER");}}}// 关闭资源public void shutdown() {scheduler.shutdown();if (conn != null) try { conn.close(); } catch (SQLException ignored) {}}
}

3. 核心逻辑说明

  1. 节点初始化
    每个节点启动时传入唯一nodeId(如hostname_pid),并连接到MySQL。

  2. 领导权竞争逻辑

    • 使用ON DUPLICATE KEY UPDATE原子操作保证竞争安全 :
      若当前无Leader或Leader超时(last_seen_active < NOW() - 20s),则抢占为Leader。
    • 节点周期性(如每秒)尝试更新状态,确保活跃Leader持续续期。
  3. 状态更新

    • Leader节点last_seen_active字段被更新为当前时间。
    • Follower节点:未更新字段,仅检测自身是否为Leader 3。

4. 高级功能扩展

// 强制指定Leader(管理员操作)
public void forceLeadership() throws SQLException {String sql = "REPLACE INTO leader_election (service_id, leader_id, last_seen_active) VALUES (?, ?, NOW())";try (PreparedStatement stmt = conn.prepareStatement(sql)) {stmt.setString(1, serviceId);stmt.setString(2, nodeId);stmt.executeUpdate();}
}// 查询当前Leader
public String getCurrentLeader() throws SQLException {String sql = "SELECT leader_id FROM leader_election WHERE service_id=?";try (PreparedStatement stmt = conn.prepareStatement(sql)) {stmt.setString(1, serviceId);ResultSet rs = stmt.executeQuery();return rs.next() ? rs.getString("leader_id") : null;}
}

5. 算法优点

  • 去中心化:依赖MySQL而非额外组件(如ZK/etcd),降低运维成本 3。
  • 容错性:Leader故障后,超时机制自动触发重选举 31。
  • 快速响应:节点秒级感知Leader变更(JDBC轮询)。

注意事项

  • 连接池优化:使用HikariCP等连接池避免频繁创建连接。
  • 超时时间:根据网络延迟调整electionTimeout(建议≥10秒)。
  • 多节点隔离:各节点使用独立MySQL连接,避免事务冲突 3。

此方案适用于中小规模集群。如需强一致性高可用场景(如金融系统),可改用Raft算法(如Apache Ratis),但需引入额外组件。

http://www.dtcms.com/a/290660.html

相关文章:

  • CLIP与SIGLIP对比浅析
  • RuoYi配置多数据源失效
  • vscode 使用说明二
  • 前端图像视频实时检测
  • AJAX 概念与 axios 使用
  • AI探索 | 基于 Node.js 开发 MCP 客户端+服务端及优秀项目分享
  • 【华为机试】240. 搜索二维矩阵 II
  • Node.js- node管理工具nvm
  • Git上传与下载GitHub仓库
  • 新手向:基于Python的快捷启动器(本地应用/文件秒开工具)
  • 本地项目提交到git教程
  • 代码随想录算法训练营二十二天|回溯part04
  • 第十八节:第八部分:java高级:动态代理设计模式介绍、准备工作、代码实现
  • 【设计模式C#】简单工厂模式(用于简化获取对象实例化的复杂性)
  • Spring Boot注解详解
  • PDF 表单字段属性详解
  • 泛型:C#中的类型抽象艺术
  • 三款适合户外探险、应急救援的智能三防手机,各有各的优势
  • kafka 日志索引 AbstractIndex
  • Elasticsearch X-Pack安全功能未启用的解决方案
  • 模型系列(篇一)-Bert
  • 暑期算法训练.5
  • 分布在内侧内嗅皮层(MEC)的带状细胞对NLP中的深层语义分析有什么积极的影响和启示
  • [硬件电路-64]:模拟器件 -二极管在稳压电路中的应用
  • Facebook 开源多季节性时间序列数据预测工具:Prophet 乘性季节性 Multiplicative Seasonality
  • JS实现矩阵左右旋转90度
  • uniapp app pdf.js报错:Uncaught SyntaxError:Unexpected token ‘{‘
  • 5道挑战题writup
  • 单体VS微服务:如何选择最适合的架构?
  • 人工智能之数学基础:事件间的关系