当前位置：首页 > news >正文

protobuf自动填充字段数据

news 来源：原创 2025/4/30 10:51:11

Protobuf自动填充字段数据

〇、需求

需要从一个结构中，比如map或variant，把数据填充到protobuf的各个字段中。

源数据：map

目的数据：protobuf

注意：只有protobuf有的字段才能进行填充，variant中有的值，但是protobuf中没有的字段，是填充不了的。

一、解决方案

生成protobuf文件时，打开使用反射机制的开关，然后遍历map或variant，利用protobuf的反射机制进行字段的填充。

二、详细步骤

2.1生成protobuf

反射是默认启用的，不需要特定的编译开关，去打开编译，避免使用–cpp_out=optimized这样的编译选项，可能会关闭掉反射。

protobuf_24_3\bin\windows\release\protoc.exe -I="protobuf_24_3\include" -I=../ -I=./ --cpp_out=dllexport_decl=MY_EXPORT:../out_dir/ --experimental_allow_proto3_optional ./myProto.proto

protobuf_24_3\bin\windows\release\protoc.exe：
- 这是 Protocol Buffers 编译器的可执行文件路径，用于将 .proto 文件编译成 C++ 源代码。
-I="protobuf_24_3\include"：
- -I 选项用于指定包含目录。这告诉编译器在编译过程中查找 .proto 文件时还需要在 protobuf_24_3\include 目录中查找。
-I=../ 和 -I=./：
- 这两个也是包含目录的指定。../ 表示上一级目录，而 ./ 表示当前目录。这样 .proto 文件或依赖的其他 .proto 文件可以在这些目录中被找到。
--cpp_out=dllexport_decl=MY_EXPORT:../out_dir/：
- ```
--cpp_out
```
  选项指定输出 C++ 代码的目录和特定选项：
  - dllexport_decl=MY_EXPORT 是编译选项，它指定生成的 C++ 代码在使用时定义了一个宏 MY_EXPORT。这个宏通常用于控制 DLL 中的符号导出，这对于 Windows 动态链接库（DLL）是很重要的。
  - ../out_dir/ 是生成的 C++ 文件将被输出到的目录路径（相对于当前工作目录）。
--experimental_allow_proto3_optional：
- 这个标志允许使用 Protocol Buffers 3 中的可选字段特性（optional fields）模型。这意味着可以在 .proto 文件中定义字段为可选，使用这个选项可以让你的代码兼容这一特性。
./myProto.proto：
- 这是输入的 .proto 文件，编译器将对其进行处理并生成相应的 C++ 代码。

2.2 开发功能

主要提供三种方法，dllLoad,getMessage,Map2PB.

dllLoad，负责对protobuf共享库的动态加载
getMessage,通过protobuf的message名字获取对应的message对象
ConvertTo，负责map或者Variant中数据到protobuf字段数据内容的填充

2.2.1 dllLoad函数

bool dllLoad(IN const std::string& dllPath){
    boost::dll::shared_library dllHelper;
    try{
        dllHelper.load(dllPath);
    }catch(const std::exception& e){
        return false;
    }
    if(!dllHelper.is_loaded()){
        return false;
    }
    return true;
}

2.2.2 getMessage函数

::google::protobuf::DynamicMessageFactory g_MessageFactory;

::google::protobuf::Message* getMessage(const std::string& messageName){
    std::string prefix = "your own protobuf prefix";
    const ::google::protobuf::DescriptorPool* pool = ::google::protobuf::DescriptorPool::generated_pool();
    auto descriptor = pool->FindMessageTypeByName(prefix+messageName);
    if(!descriptor){
        return nullptr;
    }
    return g_MessageFactory.GetPrototype(descriptor)->New();
    
}

2.2.3 ConvertTo函数

每个人自定义的variant可能不一样，我的variant定义如下

message Dict{
    map<string,Variant> list=1;
}
message Variant{
    oneof oneof_variant{
        //basic
        bool boolvalue = 1;
        int32 int32value=2;
        ...
        //struct
        Dict dictvalue=3；
    }
}

variant可以是一个map，这个map存的键值对也是string，variant。

bool ConvertTo(IN Variant& in, OUT ::google::protobuf::Message* out){
    auto& map = in.dictvalue().list();
    for(auto iter :map){
        auto fieldname = iter.first;
        auto& fieldvalue = iter.second;
        ret = SetPB(out,fieldname,fieldvalue);
        if(ret!= true) return false;
    }
    return true; 
}

其中SetPB函数如下

bool SetPB(OUT ::google::protobuf::Message* rootMsg,IN const std::string& fieldname,IN Variant& var){
    auto descriptor = rootMsg->GetDescriptor();
    auto reflection = rootMsg->GetReflection();
    auto field = descriptor->FindFieldByName(fieldname);
    if(nullptr ==field){return false;}
    auto toType = field->type();
    auto fromType = var.oneof_variant_case();
    switch(toType){
        case FieldDescriptor::TYPE_DOUBLE:{
            ret = SET_DOUBLE(field,reflection,rootMsg,var);
        }break;
    }
}

各种类型值的转换的就随自定义的variant类型来提供不同类型的设置方法了，这里只展示设置bool类型变量方法。

bool SET_DOUBLE(const ::google::protobuf::fieldDescriptor* field,const ::google::protobuf::Reflection* reflection,::google::protobuf::Message* rootMsg,Variant& var){
    if(!field->is_repeated()){
        reflection->SetDouble(rootMsg,field,var.doublevalue());
        return true;
    }
    return true;
}

在这一步field可能是数组类型，也可能不是，需要进行判断。根据自己需求提供给protobuf填充值的方法。