当前位置: 首页 > news >正文

Metabase 部署与实践:从测试环境到生产环境的完整指南

在这里插入图片描述

本文介绍了开源 BI 工具 Metabase 的功能特点、优势与不足,并结合实际经验,演示了如何通过 Docker 快速部署测试环境、如何进行数据持久化配置,以及在生产环境下如何结合 PostgreSQL、Nginx 进行高可用、安全的部署。文章还分析了 Metabase 在 CPU、内存、磁盘等资源上的消耗,并给出了官方推荐的硬件配置和部署实践,帮助读者从入门到上线全面掌握 Metabase 的使用

1. Metabase介绍

Metabase 是一款非常流行的开源商业智能(BI)工具。它的核心设计理念是让数据分析变得简单、快捷。链接到你的数据库,无需任何代码,即使是非技术人员也能够轻松地从数据中获得答案。

1.1 核心特点

  1. 轻松提问
    • 为非技术人员设计:用户无需编写复杂的 SQL 代码,只需通过点击式的图形化界面,选择数据表、筛选条件和汇总方式,就能构建出自己想查询的问题。
    • 为技术人员提供便利:对于数据分析师或开发者,Metabase 也内置了功能强大的 SQL 编辑器,可以直接编写原生 SQL 查询,进行更复杂、更精细的数据分析。
  2. 丰富的可视化
    • 它支持将查询结果快速转换成各种图表,如折线图、柱状图、饼图、地图、漏斗图、数据表格等。
    • 用户可以轻松切换图表类型,找到最适合展示数据的形式。
  3. 仪表盘
    • 用户可以将多个“问题”(即图表)组合到一个仪表盘中,形成一个全面的数据概览。
    • 仪表盘是交互式的,可以添加筛选器(如时间范围、用户类型、国家/地区等)。当筛选器变化时,整个仪表盘的所有图表都会同步更新,非常适合用于业务监控和数据汇报。
  4. 数据模型
    • 管理员可以对数据库的原始表和字段进行“美化”,比如:
      • 将难懂的字段名(如 auth_user_profiles)重命名为易于理解的名称(如“用户信息”)。
      • 为字段添加注释说明。
      • 隐藏不需要分析的字段。
    • 可以根据现有的字段,添加新的字段,譬如对字符串的一些操作。
  5. 广泛的数据源支持
    • 关系型数据库:MySQL / MariaDB,SQL Server,PostgreSQL
    • 非关系型数据库:MongoDB

1.2 使用优势

  • 开源免费:其社区版是完全开源和免费的,也有付费的企业版,包括一些企业级的特性譬如SSO。
  • 极致易用:用户界面非常直观简洁,上手操作容易,特别适合非技术背景的业务人员。
  • 部署快速:安装和配置过程非常简单,支持容器部署,几分钟内就可以连接到数据库并开始使用。
  • 社区活跃:作为一款热门的开源项目,它拥有一个庞大的全球用户社区,遇到问题时很容易找到解决方案。

1.3 功能局限

  • 高级可视化能力有限:与 Tableau 或 Power BI 等企业级付费 BI 工具相比,Metabase 在图表的高度自定义和复杂可视化方面稍显逊色。
  • ETL 功能较弱:它主要是一个查询和展示工具,对于复杂的数据清洗、转换和整合(ETL)能力较弱。譬如使用Python将原始数据进行清洗和转换并存入到数据库中。
  • 超大规模数据性能:其性能在很大程度上依赖于底层数据库的性能。在处理极大规模数据集时,可能不如一些专门为大数据优化的商业 BI 平台。

2. 测试环境部署

老规矩我们还是使用Docker进行部署。
在这里插入图片描述

2.1 快速启动(最简单的 Docker 部署)

直接拉取镜像并启动容器。容器默认监听3000端口。启动有点慢,稍等一会儿才能使用。

docker pull metabase/metabase:latestdocker run -d -p 3000:3000 --name metabase metabase/metabase

这个只适用于简单感受下Metabase的使用。最初为了简单我就直接使用的这种方法,但是每次重建容器,所有的配置参数,包括数据库,仪表盘,问题什么的就都没有了。

Metabase内置了H2数据库,它使用底层文件系统存放应用数据。由于我们并没有做数据持久化,所以每次重建容器,数据都会丢失。

2.2 数据持久化与专用网络

可以将Metabase的数据和数据库目录进行持久化。我还创建了一个Metabase的网络,将别的应用的数据库也加入到这个网络中。因为一般数据库(容器内)不直接对外访问,通过这个专用网络,Metabase就可以链接到相应的数据库了。

services:metabase:image: metabase/metabase:latestcontainer_name: metabasehostname: metabasevolumes:- ./metabase/metabase-data:/metabase-data- ./metabase/metabase.db:/metabase.dbrestart: alwaysports:- "3000:3000"networks:- metabase_networknetworks:metabase_network:driver: bridge

2.3 资源消耗分析

基于最简单的部署方式,实际的资源消耗如下:
在这里插入图片描述

2.3.1 CPU 占用情况

Metabase 只是生成 SQL 并将查询任务发送给数据库。真正的数据计算压力主要在源数据库上

  • 查询执行:当用户运行一个复杂的查询(尤其是有多层聚合和计算的)时,CPU 会短暂飙升。
  • 数据同步:Metabase 会定期扫描您连接的数据库,同步表结构和元数据,这个过程会消耗 CPU。
  • 仪表盘渲染:同时加载一个包含许多图表的复杂仪表盘时,CPU 会有明显占用。

2.3.2 - 内存需求

内存是影响 Metabase 性能和稳定性的最重要因素。官方建议至少需要 2GB RAM 才能比较流畅地运行。对于生产环境,4GB RAM 是一个更安全的起点。

  • 运行应用:Metabase 是一个 Java 应用程序,Java 虚拟机(JVM)本身就需要一定的基础内存来运行。在测试环境下占用了1.1G的内存。
  • 处理请求:每个用户的查询、图表加载和仪表盘刷新都会消耗内存。并发用户越多,内存需求越大。
  • 结果缓存:Metabase 会将查询结果缓存到内存中,以加快后续访问速度。缓存的图表越多、数据量越大,占用的内存就越多。

2.3.3 磁盘空间

磁盘空间通常是最不成问题的资源。Metabase不会在自己的服务器上存储业务数据。它只是一个查询和展示工具。磁盘空间的消耗主要包括,应用本身,H2数据库文件(用于存储用户信息、问题、仪表盘、设置等)以及一些日志文件。

3. 生产环境部署

官方建议使用单独的关系型数据库来专门作为应用数据库,官方例子都是使用PostgreSQL。

3.1 硬件资源推荐

  • Metabase应用服务器: 起始是1核1G的配置,每多20个并发用户增加1核2G的硬件资源。
  • Metabase应用数据库服务器:起始是1核2G的配置,以PostgreSQL为例,每多40个并发用户增加1核1G的硬件资源。

3.2 官方 Docker Compose 配置

详情见 Running Metabase on Docker。

services:metabase:image: metabase/metabase:latestcontainer_name: metabasehostname: metabasevolumes:- /dev/urandom:/dev/random:roports:- 3000:3000environment:MB_DB_TYPE: postgresMB_DB_DBNAME: metabaseappdbMB_DB_PORT: 5432MB_DB_USER: metabaseMB_DB_PASS: mysecretpasswordMB_DB_HOST: postgresnetworks:- metanet1healthcheck:test: curl --fail -I http://localhost:3000/api/health || exit 1interval: 15stimeout: 5sretries: 5postgres:image: postgres:latestcontainer_name: postgreshostname: postgresenvironment:POSTGRES_USER: metabasePOSTGRES_DB: metabaseappdbPOSTGRES_PASSWORD: mysecretpasswordnetworks:- metanet1
networks:metanet1:driver: bridge

3.3 数据库连接池优化

默认Metabase的连接池设置为15个连接。Metabase为每个数据库,包括应用数据库,管理一个这样的连接池。可以通过环境变量MB_APPLICATION_DB_MAX_CONNECTION_POOL_SIZE来更改每个连接池的数量。但是要保证有充足的内存,不然Metabase会将连接放进队列,直到有空余的内存。

Metabase建议使用负载均衡器来负载请求到不同的Metabase实例上。

3.4 HTTPS 部署方式

如果是直接使用Metabase来作为处理HTTPS流量的话,请参考官方文档Using HTTPS with Metabase。

export MB_JETTY_SSL="true"
export MB_JETTY_SSL_PORT="8443"
export MB_JETTY_SSL_KEYSTORE="path/to/keystore.jks" # replace this value with your own
export MB_JETTY_SSL_KEYSTORE_PASSWORD="storepass" # replace this value with your own
java --add-opens java.base/java.nio=ALL-UNNAMED -jar metabase.jar

参考Java Keytool Essentials: Working with Java Keystores 来生成Java Keystore。在Metabase容器内部是集成了keytool这个工具的。

在这里插入图片描述

我是没有使用这个方法的,因为太麻烦了。官方也不推荐这么做,官方推荐使用的是负载均衡器来做TLS终结。

3.5 使用 Nginx 作为反向代理

在这里插入图片描述

我还是Nginx来代理Metabase的请求,在内网通过端口来区分服务。一个容器网络连接到Nginx,另一个网络用来放各种数据库,包括Metabase的应用数据库。

完整的Metabase的Docker Compose文件如下:

services:metabase:image: metabase/metabase:latestcontainer_name: metabasehostname: metabasevolumes:- /dev/urandom:/dev/random:roexpose:- 3000environment:MB_DB_TYPE: postgresMB_DB_DBNAME: metabaseappdbMB_DB_PORT: 5432MB_DB_USER: metabaseMB_DB_PASS: cl52JuiyUSR71kaqMB_DB_HOST: postgresnetworks:- database-pool- nginx-reverse-proxyhealthcheck:test: curl --fail -I http://localhost:3000/api/health || exit 1interval: 15stimeout: 5sretries: 5postgres:image: postgres:latestcontainer_name: postgreshostname: postgresenvironment:POSTGRES_USER: metabasePOSTGRES_DB: metabaseappdbPOSTGRES_PASSWORD: cl52JuiyUSR71kaqnetworks:- database-poolnetworks:database-pool:external: truenginx-reverse-proxy:external: true

Nginx的配置文件也很简单。

server {listen 8008 ssl;server_name 10.10.10.10;ssl_certificate /etc/nginx/certs/int.crt;ssl_certificate_key /etc/nginx/certs/int.key;location / {proxy_pass http://metabase:3000;proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;proxy_set_header X-Forwarded-Proto $scheme;}
}

这样我就可以通过https://10.10.10.10:8008来访问Metabase了。

在这里插入图片描述

在设置完管理员账户后,需要连接到数据库。当然也可以使用自带的demo的H2数据库来测试一下,稍后再添加生产数据库。
在这里插入图片描述

📚 延伸阅读

更多内容持续更新于我的博客:https://www.zenseek.site

http://www.dtcms.com/a/350709.html

相关文章:

  • celery prefetch-multiplier
  • 【人工智能】人工智能在企业中的应用
  • 理解Vuex的辅助函数,分析mapState、mapGetters、mapMutations和mapActions各个应用场景
  • [信号与系统个人笔记]第二章 连续时间信号与系统的时域分析
  • 【MySQL】MySQL介绍及安装
  • 查看mariadb服务是否启动
  • 2025 BrunnerCTF remobile 部分wp
  • 编译型语言(C/C++):从源码到.exe 的完整链路
  • 语音识别:概念与接口
  • LeetCode 面试经典 150_双指针_验证回文串(25_125_C++_简单)(双指针)
  • 【JVM内存结构系列】六、“特殊区域”:直接内存、栈上分配与TLAB
  • JavaScript 对象 Array对象 Math对象
  • Spring Boot 结合 Jasypt 实现敏感信息加密(含 Nacos 配置关联思路)
  • 计算机网络:HTTP、抓包、TCP和UDP报文及重要概念
  • 简述Myisam和Innodb的区别?
  • 面试题:reids缓存和数据库的区别
  • Android FrameWork - Zygote 启动流程分析
  • 【0419】Postgres内核 buffer pool 所需共享内存(shared memory)大小
  • 物流架构实践:ZKmall开源商城物流接口对接与状态同步
  • Pytorch框架的训练测试以及优化
  • 使用JDK11标准 实现 图数据结构的增删查改遍历 可视化程序
  • Spring Cloud Alibaba
  • 机器学习三大核心思想:数据驱动、自动优化与泛化能力
  • 搭建python自动化测试环境
  • kmeans
  • 【Kotlin】Kotlin 常用注解详解与实战
  • 2025山东国际大健康产业博览会外贸优品中华行活动打造内外贸一体化高效平台
  • 瑞惯科技双轴倾角传感器厂家指南
  • 发射机功能符号错误直方图(Transmitter Functional Symbol Error Histogram)
  • 多级数据结构导出Excel工具类,支持多级数据导入导出,支持自定义字体颜色和背景颜色,支持自定义转化器