Fluent Bit系列：字符集转码测试（上）

#作者：程宏斌

这部分内容分为两个任务：
是验证 Lua 脚本是否能够将 GBK 编码的文本转换为 UTF-8；
是验证经过转码脚本后，Fluent Bit 的实际处理能力。

gbk2utf8.lua 脚本说明

该Lua脚本实现了将GBK编码的字符串转换为UTF-8编码的字符串的功能。它的主要实现步骤如下：
建立了一个包含了GBK编码到Unicode编码的映射表 to_uni，通过查询这个表，可以将GBK编码的字符转换为Unicode码点。

gbk2uni 函数，用于根据给定的高位和低位字节查找对应的Unicode码点。

uni2utf8 函数，用于将Unicode码点转换为UTF-8编码的字节序列。
主要的转换函数是 convert_gbk_to_utf8，它遍历输入的GBK编码字符串，对每个字符进行处理：如果是ASCII字符，则直接拼接到输出的UTF-8字符串中；否则，根据该字符的高位和低位字节获取对应的Unicode码点，并将其转换为UTF-8编码，然后拼接到输出的UTF-8字符串中。

fluent-bit FILTER 使用 Lua 代码配置说明
Lua filter 允许您使用自定义Lua脚本修改传入的记录（甚至将一个记录拆分为多个记录）。

由于需要灵活的过滤机制，现在可以通过编写Lua编程语言的自定义过滤器来扩展Fluent Bit的能力。基于Lua的过滤器包括两个步骤：

在主配置中配置过滤器。

准备一个Lua脚本，供过滤器使用。
示例如下：

[FILTER]Name    luaMatch   *script  gbk2utf8.luacall   convert_gbk_to_utf8

插件支持以下配置参数：

如何在Linux系统中手动生成GBK日志？

使用Linux的iconv命令，可以将接收到的UTF-8编码的中文字符转换为GBK编码，并将转换后的内容追加到指定的文件中。之后，通过fluent-bit工具，可以采集次文件内容。

echo “中文字符” | iconv -f utf8 -t gbk  >>   test.log

验证日志转码的准确性测试

这部分内容测试了 Fluent Bit 使用 Lua 代码来处理日志，将 GBK 编码的文本成功转换为 UTF-8 并正确解析的情况。

测试方案

根据提供的 /var/log/pods/logtest/20230911_filerate-3105-9c659b484-kfp5j.0.log 日志文件，进行以下测试：验证 Fluent Bit 1.9.4 和 3.0.2 是否都能够成功使用此脚本，并且都能成功转码。
1、确认 /var/log/pods/logtest/20230911_filerate-3105-9c659b484-kfp5j.0.log 文件乱码日志内容

# 查看命令如下
less  /var/log/pods/logtest/20230911_filerate-3105-9c659b484-kfp5j.0.log

命令结果截图：

2、确认文件中有需要日志合并的内容
记录关键字to_number后续使用它查看这条日志是否被合并成功。

[root@cdp-10-191-193-8 fluentbit]# sed -n '24,36p' 20230911_filerate-3105-9c659b484-kfp5j.0.log 
329 2023-09-11 17:03:30 [/data01/heht30/guoc//stl_jsdev/src/load_shm.c:fLoadTBillCycle:401] [INFO]sql is [select 
a.bill_cycle_seq, 
a.bill_period_id, 
to_number(to_char(nvl(a.start_date, add_months(sysdate, 0)), 'yyyymmdd')), 
to_number(to_char(nvl(a.cutoff_date, add_months(sysdate, 240)), 'yyyymmdd')), 
nvl(a.split_table_postfix,-1), 
nvl(b.latn_id,-1), 
to_number(b.status) from t_bill_cycle a, t_usage_bill_cycle b 
where a.bill_cycle_seq = b.bill_cycle_seq and a.province_id = 99 and b.province_id = 99 
order by a.bill_cycle_seq, b.status ]

fluent-bit 3.0.2 转换测试

测试使用配置文件

[SERVICE]Flush 1Parsers_File parsers.confHTTP_Server  OnHTTP_Listen  0.0.0.0HTTP_PORT    3302
[INPUT]Name         tailTag          regex-fluentDB           ./db/regex-fluent.dbRead_from_Head truePath  /var/log/pods/logtest/*.logPath_Key  pod_log_pathmultiline.parser    multiline-regex-new
[FILTER]Name modifyMatch *Add paas_log_belong         userAdd paas_log_type           middlewareAdd paas_collection_type    userfileAdd paas_account_id         123456789Add paas_region_id          lftstAdd paas_product_id         cccAdd paas_instance_name      test10Add paas_host_ip            127.0.0.1Add paas_manager_ip         127.0.0.1Add pod_namespace           defaultAdd pod_name                test-0Add pod_container_name      test 
[FILTER]Name    luaMatch   *script  gbk2utf8.luacall   convert_gbk_to_utf8
[OUTPUT]Name fileMatch *Path /vdata/logtest

核查数据结果

# 检查采集结果命令
less /vdata/logtest/regex-fluent #提前获取中文字符
egrep -n '匹配费率为0，不进行计价|to_number' regex-fluent | head -n 5

以下是采集后的结果被输入到 /vdata/logtest/regex-fluent 文件中。在Linux系统中，通过使用 grep 命令搜索关键字，可以看到文件的第46、47、48行，确认没有出现任何 GBK 格式的乱码。这表明 Fluent Bit 3.0.2 成功地将 GBK 格式转换为 UTF-8。此外，第16和18行的内容也确认了日志被正确合并。

[root@cdp-10-191-193-8 logtest]# egrep -n '匹配费率为0，不进行计价|to_number' regex-fluent | head -n 5
16:regex-fluent: [1720148659.722281097, {"paas_collection_type":"userfile","pod_container_name":"test","paas_account_id":"123456789","paas_region_id":"lftst","paas_product_id":"ccc","paas_host_ip":"127.0.0.1","paas_instance_name":"test10","log":"329 2023-09-11 17:03:30 [/data01/heht30/guoc//stl_jsdev/src/load_shm.c:fLoadTBillCycle:401] [INFO]sql is [select \na.bill_cycle_seq, \na.bill_period_id, \nto_number(to_char(nvl(a.start_date, add_months(sysdate, 0)), 'yyyymmdd')), \nto_number(to_char(nvl(a.cutoff_date, add_months(sysdate, 240)), 'yyyymmdd')), \nnvl(a.split_table_postfix,-1), \nnvl(b.latn_id,-1), \nto_number(b.status) \n from t_bill_cycle a, t_usage_bill_cycle b \nwhere a.bill_cycle_seq = b.bill_cycle_seq \n  and a.province_id = 99 \n  and b.province_id = 99 \norder by a.bill_cycle_seq, b.status ]\n \n","pod_log_path":"/var/log/pods/logtest/20230911_filerate-3105-9c659b484-kfp5j.0.log","paas_manager_ip":"127.0.0.1","paas_log_belong":"user","pod_namespace":"default","paas_log_type":"middleware","pod_name":"test-0"}]
18:regex-fluent: [1720148659.722322978, {"paas_collection_type":"userfile","pod_container_name":"test","paas_account_id":"123456789","paas_region_id":"lftst","paas_product_id":"ccc","paas_host_ip":"127.0.0.1","paas_instance_name":"test10","log":"329 2023-09-11 17:03:31 [/data01/heht30/guoc//stl_jsdev/src/load_shm.c:fLoadTCdrCalc:682] [INFO]sql is [select \n nvl(cdr_calc_group_id,-1),\n  NVL(FEE_TYPE, -1),\n  nvl(rate_period_id,-1), \n nvl(holiday_type_id,-1), \n nvl(rate_id,-1),\n nvl(cdr_calc_id,-1),\n to_number(nvl(to_char(active_date,'yyyymmdd'),'19700101')), \n to_number(to_char(nvl(inactive_date,add_months(sysdate,360)),'yyyymmdd'))\n from t_cdr_calc \n order by cdr_calc_group_id,FEE_TYPE \n]\n \n","pod_log_path":"/var/log/pods/logtest/20230911_filerate-3105-9c659b484-kfp5j.0.log","paas_manager_ip":"127.0.0.1","paas_log_belong":"user","pod_namespace":"default","paas_log_type":"middleware","pod_name":"test-0"}]
46:regex-fluent: [1720148659.722746975, {"paas_collection_type":"userfile","pod_container_name":"test","paas_account_id":"123456789","paas_region_id":"lftst","paas_product_id":"ccc","paas_host_ip":"127.0.0.1","paas_instance_name":"test10","log":"329 2023-09-11 17:04:53 [/data01/heht30/guoc//stl_jsdev/src/stl_pub.c:CdrRating:761] [INFO]匹配费率为0，不进行计价\n \n","pod_log_path":"/var/log/pods/logtest/20230911_filerate-3105-9c659b484-kfp5j.0.log","paas_manager_ip":"127.0.0.1","paas_log_belong":"user","pod_namespace":"default","paas_log_type":"middleware","pod_name":"test-0"}]
47:regex-fluent: [1720148659.722757221, {"paas_collection_type":"userfile","pod_container_name":"test","paas_account_id":"123456789","paas_region_id":"lftst","paas_product_id":"ccc","paas_host_ip":"127.0.0.1","paas_instance_name":"test10","log":"329 2023-09-11 17:04:53 [/data01/heht30/guoc//stl_jsdev/src/stl_pub.c:CdrRating:761] [INFO]匹配费率为0，不进行计价\n \n","pod_log_path":"/var/log/pods/logtest/20230911_filerate-3105-9c659b484-kfp5j.0.log","paas_manager_ip":"127.0.0.1","paas_log_belong":"user","pod_namespace":"default","paas_log_type":"middleware","pod_name":"test-0"}]
48:regex-fluent: [1720148659.722766852, {"paas_collection_type":"userfile","pod_container_name":"test","paas_account_id":"123456789","paas_region_id":"lftst","paas_product_id":"ccc","paas_host_ip":"127.0.0.1","paas_instance_name":"test10","log":"329 2023-09-11 17:04:53 [/data01/heht30/guoc//stl_jsdev/src/stl_pub.c:CdrRating:761] [INFO]匹配费率为0，不进行计价\n \n","pod_log_path":"/var/log/pods/logtest/20230911_filerate-3105-9c659b484-kfp5j.0.log","paas_manager_ip":"127.0.0.1","paas_log_belong":"user","pod_namespace":"default","paas_log_type":"middleware","pod_name":"test-0"}]