当前位置：首页 > news >正文

手撕基于AMQP协议的简易消息队列-1（项目介绍与开发环境的搭建）

news 来源：原创 2025/5/9 11:21:26

项目绍

码云仓库：MessageQueues: 仿Rabbit实现消息队列

文章概要

本文将介绍从零搭建一个简易消息队列的方法，目的是了解并学习消息队列的底层原理与逻辑，编写一个独立的服务器程序。从搭建开发环境开始，到编写一些工作组件，再到正式开始编写消息队列。

什么是消息队列？

消息队列是一个服务器程序，也可以看做是一个被封装为独立服务器程序的阻塞队列，而阻塞队列的最大用途就是用来实现生产者消费者模型,这个模型可以让我们的程序实现解耦合、支持并发、支持忙闲不均、削峰填谷等功能。
市面上成熟的消息队列有很多，如：RabbitMQ、Kafka、RocketMQ、ActiveMQ…

开发环境

Linux（CentOS-7.6），可根据自己需要更换为Ubuntu
VSCode
g++/gdb
Makefile（也可以使用CMake）

所用技术栈

C++
序列化框架：Protobuf
网络通信：自定义应用层协议+Muduo库：对tcp⻓连接的封装、并且使⽤epoll的事件驱动模式，实现⾼并发服务器与客⼾端
源数据信息数据库：SQLite3（因为本项目数据量较小，所以选取了一个更加轻量级的数据库）
单元测试框架：Gtest

开发环境的搭建

这里分别列举CentOS7.6与Ubuntu-22.04的环境配置

CentOS7.6的环境搭建

安装wget

sudo yum install wget

更换软件源

sudo mv /etc/yum.repos.d/CentOS-Base.repo/etc/yum.repos.d/CentOS-Base.repo.bak

sudo wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

sudo yum clean all

sudo yum makecache

安装scl软件源

sudo yum install centos-release-scl-rh centos-release-scl

安装epel软件源

sudo yum install epel-release

安装lrzsz传输工具

sudo yum install lrzsz

安装高版本gcc/g++编译器

sudo yum install devtoolset-7-gcc devtoolset-7-gcc-c++

echo "source /opt/rh/devtoolset-7/enable" >> ~/.bashrc

source ~/.bashrc

安装git

sudo yum install git

安装CMake

sudo yum install cmake

安装Protobuf

安装Protobuf依赖库

sudo yum install autoconf automake libtool curl make gcc-c++ unzip

下载Protobuf包

wget 
https://github.com/protocolbuffers/protobuf/releases/download/v3.20.2/protobuf-all-3.20.2.tar.gz

编译安装

tar -zxf protobuf-all-3.20.2.tar.gz//解压缩

cd protobuf-3.20.2/ //切换目录

./autogen.sh

./configure

make //开始编译，大概需要编译15分钟

sudo make install //开始安装

protoc --version//确认是否安装成功

安装Muduo库

git clone https://github.com/chenshuo/Muduo.git //git方式

wget https://gitee.com/hansionz/mq/raw/master/resource/Muduo-master.zip //如果觉得git下的太慢，可以使用这一条指令

sudo yum install gcc-c++ cmake make zlib zlib-devel boost-devel //安装依赖环境

./build.sh
./build.sh install //运行脚本编译安装

安装SQLite3

sudo yum install sqlite-devel

sqlite3 --version //验证是否安装成功

安装Gtest

sudo yum install epel-release

sudo yum install dnf

sudo dnf install dnf-plugins-core

sudo dnf install gtest gtest-devel

使用dnf安装软件时可能会报以下错误

Traceback (most recent call last):File "/usr/bin/dnf", line 57, in <module>from dnf.cli import mainFile "/usr/lib/python2.7/site-packages/dnf/__init__.py", line 30, in <module>import dnf.baseFile "/usr/lib/python2.7/site-packages/dnf/base.py", line 29, in <module>import libdnf.transactionFile "/usr/lib64/python2.7/site-packages/libdnf/__init__.py", line 3, in 
<module>from . import confFile "/usr/lib64/python2.7/site-packages/libdnf/conf.py", line 17, in 
<module>_conf = swig_import_helper()File "/usr/lib64/python2.7/site-packages/libdnf/conf.py", line 16, in 
swig_import_helperreturn importlib.import_module('_conf')File "/usr/lib64/python2.7/importlib/__init__.py", line 37, in import_module__import__(name)
ImportError: No module named _conf

这通常是因为python版本过低导致的，可以输入以下命令解决

yum update python*  //升级python

yum install dnf-data dnf-plugins-core libdnf-devel libdnf python2-dnf-plugin-migrate dnf-automatic -y # 安装如下软件

测试GTest是否安装成功

测试代码

#include<gtest/gtest.h>
int add(int a,int b){return a+b;
}
TEST(testCase,test1){EXPECT_EQ(add(2,3),5);
}
int main(int argc,char **argv){testing::InitGoogleTest(&argc,argv);return RUN_ALL_TESTS();
}

编译源文件
```
g++ test_gtest.cc -o gtest -lgtest
```
运行可执行文件
```
./gtest
```
成功

[==========] Running 1 test from 1 test case.
[----------] Global test environment set-up.
[----------] 1 test from testCase
[ RUN ] testCase.test1
[ OK ] testCase.test1 (0 ms)
[----------] 1 test from testCase (0 ms total)
[----------] Global test environment tear-down
[==========] 1 test from 1 test case ran. (1 ms total)
[ PASSED ] 1 test.