doris数据库问题
(1)执行 SQL 时,IN 条件里的参数数量 超过 Doris 数据库设置的 10000 条限制
解决方法:
1.可以在命令行设置增大:
SET GLOBAL max_allowed_packet=32*1024*1024;
2. 在fe.conf中配置 expr 树的深度,也可以根据现网的设备数量实际的去做限制,比如荆州现网解决8万个设备,这里设置的是100000,足够兼容8万个设备的in查询
expr_children_limit = 100000;
(2)用户在使用数据库工具连接Doris数据库 的时候,当访问用户过多时会报Reach limit of connections,针对这种情况需要调整Doris最大连接数。
解决方法:
1.数据库命令界面执行:
SET PROPERTY FOR 'root' 'max_user_connections' := 10000';
2.
在fe.conf添加如下配置并重启:
qe_max_connection= 102400
max_connection_scheduler_threads_num=409600
(3)doris be 节点日志:W20250911 11:29:44.380260 2983286 task_worker_pool.cpp:1487] failed to execute_push_task/signature=57219283|tablet_id=26963152|push_type=DELETE[error=[E-235]failed to push data. version count:2
007, exceed limit: 2000, tablet: 26963152. Please reduce the frequency of loading data or adjust the maxtablet_version_num in be.conf to a larger value.
解决方案:
1.将一下配置加入到doris节点be配置文件中:
max_tablet_version_num = 8000
max_runnings_transactions_per_txn_map = 50000
max_running_txn_num_per_db = 100000
publish_version_worker_count = 96
number_tablet_writer_threads = 32
max_send_batch_parallelism_per_job = 10