当前位置： 首页 > news >正文

敏捷数据开发实践：基于 Amazon Q Developer + Remote MCP 构建本地与云端 Amazon Redshift 交互体系

news 2025/8/18 22:11:11

敏捷数据开发实践：基于 Amazon Q Developer + Remote MCP 构建本地与云端 Amazon Redshift 交互体系

新用户可获得高达 200 美元的服务抵扣金

亚马逊云科技新用户可以免费使用亚马逊云科技免费套餐（Amazon Free Tier）。注册即可获得 100 美元的服务抵扣金，在探索关键亚马逊云科技服务时可以再额外获得最多 100 美元的服务抵扣金。使用免费计划试用亚马逊云科技服务，最长可达 6 个月，无需支付任何费用，除非您选择付费计划。付费计划允许您扩展运营并获得超过 150 项亚马逊云科技服务的访问权限。

前言

数据驱动的开发场景中，本地工具与云端数据库的高效交互是提升效率的关键。本文聚焦 Amazon Q Developer + Remote MCP 访问 Amazon Redshift 方案，通过搭建 “本地 CLI - 中间服务 - 云端数据库” 链路，实现自然语言转 SQL 执行、内网安全访问等能力，帮助开发者简化 Redshift 数据查询流程，构建敏捷、可扩展的云端数据操作体系，适配快速迭代的开发需求

技术架构

在这里插入图片描述

本地环境中，Amazon Q Developer CLI 作为操作入口，向 MCP Server（stdio）发起请求，MCP Server 接收后，执行 SQL 语句并与 Amazon Redshift 数据库交互，构建起 “本地工具 - 中间服务 - 云端数据库” 的简洁数据处理链路，实现本地对云端数据库的操作与数据交互

  • 操作链路精简高效：本地通过 Amazon Q Developer CLI 直连 MCP Server，省去复杂中间环节，快速触发 SQL 执行流程，降低操作延迟，让开发侧与服务端交互更敏捷，提升日常数据操作效率
  • 精准的数据交互闭环：清晰构建 “本地工具 → 中间服务 → 云端数据库” 的交互路径，MCP Server 精准承接 CLI 指令并执行 SQL，保障数据操作精准触达，让本地开发对云端数据的读写、查询等需求，能稳定、直接地落地执行
  • 架构轻量易维护：整体架构聚焦核心功能，以最少组件实现 “本地 - 服务端 - 云端数据库” 连通，无冗余设计。后续运维只需关注 CLI 工具、MCP Server 及 Redshift 交互逻辑，降低系统复杂度与维护成本，适配快速迭代的开发场景

前提准备：亚马逊云科技注册流程

Step.1 登录官网

登录亚马逊云科技官网，填写邮箱和账户名称完成验证（注册亚马逊云科技填写 root 邮箱、账户名，验证邮件地址，查收邮件填验证码验证，验证通过后设 root 密码并确认）

在这里插入图片描述

Step.2 选择账户计划

选择账户计划，两种计划，按需选"选择免费计划 / 选择付费计划"继续流程

  • 免费（6 个月，适合学习实验，含$200抵扣金、限精选服务，超限额或到期可升级付费，否则关停）
  • 付费（适配生产，同享$200 抵扣金，可体验全部服务，抵扣金覆盖广，用完按即用即付计费）

在这里插入图片描述

Step.3 填写联系人信息

填写联系人信息（选择使用场景，填联系人全名、电话，选择所在国家地区，完善地址、邮政编码，勾选同意客户协议，点击继续 进入下一步）

在这里插入图片描述

Step.4 绑定信息

绑定相关信息，选择国家地区，点击"Send code"收验证码填写，勾选同意协议后，点击"验证并继续"进入下一步

在这里插入图片描述

Step.5 电话验证

电话验证填写真实手机号，选择验证方式，完成安全检查，若选语音，网页同步显 4 位数字码，接来电后输入信息，再填收到的验证信息，遇问题超 10 分钟收不到可返回重试。

在这里插入图片描述

Step.6 售后支持

售后支持：免费计划自动获基本支持，付费计划需选支持计划（各计划都含客户服务，可访问文档白皮书，按需选后点 “完成注册”，若需企业级支持可了解付费升级选项，确认选好即可完成整个注册流程 ）

在这里插入图片描述

Amazon Q Developer+Remote MCP 访问 Amazon Redshift

1、集成 Local MCP Server，创建 Python 虚拟环境

curl -LsSf https://astral.sh/uv/install.sh | sh# Create a new directory for your project (you've already done this)
uv init redshift
cd redshift# Create a Python 3.12 virtual environment
uv venv # Activate the virtual environment
source .venv/bin/activate# Install dependencies
uv add mcp fastmcp redshift_connector# Create our server file
touch redshift.py

2、准备 Local MCP Server 的 Python 代码 redshift.py

from mcp.server.fastmcp import FastMCP
from mcp.types import TextContent
from mcp.types import Resource, ResourceTemplate, Tool, TextContent
import redshift_connector
import osmcp = FastMCP(name="redshift", stateless_http=True)
REDSHIFT_CONFIG = {"host": os.environ['REDSHIFT_HOST'],"port": int(os.environ['REDSHIFT_PORT']),"database": os.environ['REDSHIFT_DATABASE'],"user": os.environ['REDSHIFT_USER'],"password": os.environ['REDSHIFT_PASSWORD']
}def _execute_sql(sql:str):with redshift_connector.connect(**REDSHIFT_CONFIG) as conn:conn.autocommit = Truewith conn.cursor() as cursor:try:cursor.execute(sql)columns = [desc[0] for desc in cursor.description]rows = cursor.fetchall()result = [",".join(map(str, row)) for row in rows]return [TextContent(type="text", text="\n".join([",".join(columns)] +  result ))]except Exception as e:return [TextContent(type="text", text=f"Error executing query: {str(e)}")]return None@mcp.tool()
def execute_sql(sql: str) :"""Execute a SQL Query on the Redshift clusterArgs:sql: The SQL to Execute"""return _execute_sql(sql)@mcp.tool()
def get_schemas(schema: str) :"""Get all tables in a schema from redshift databaseArgs:schema: the redshift schema"""sql = f"""SELECT table_name FROM information_schema.tablesWHERE table_schema = '{schema}'GROUP BY table_nameORDER BY table_name"""return _execute_sql(sql)@mcp.tool()
def get_table_ddl(schema: str, table:str) :"""Get DDL for a table from redshift databaseArgs:schema: the redshift schema nametable: the redshift table name"""sql = f"""show table {schema}.{table}"""return _execute_sql(sql)
if __name__ == "__main__":# Initialize and run the servermcp.run(transport='stdio')

3、通过 vim .amazonq/mcp.json 编辑 MCP Server 配置

{"mcpServers": {"redshiftserver": {"timeout": 60,"command": "uv","args": ["--directory","/path/redshift","run","redshift.py"],"env": {"RS_HOST": "your_redshift_cluster_host","RS_DATABASE": "default_is_dev","RS_SCHEMA": "default_is_public","RS_USER": "your_redshift_user","RS_PASSWORD": "your_redshift_password"},"transportType": "stdio"}}
}

4、运行 Amazon Q Developer CLI，列出当前的 MCP Tools

在这里插入图片描述

5、输入自然语言查询数据：查看 Redshift 中客户表的数据条数，Amazon Q Developer CLI 将其转换为 SQL 并执行，获取到查询结果

在这里插入图片描述

6、需要为 Amazon Lambda 函数构建 Layer，将相关依赖包放入 Layer 当中，通过如下脚本构建 zip 包，并上传至 S3 中

#!/bin/bash
mkdir -p layer_build
cd layer_buildcat > requirements.txt << EOL
fastapi==0.115.12
fastmcp==2.3.0
mcp==1.8.0
pydantic==2.11.4
uvicorn==0.34.2
redshift_connector
EOLpython3.12 -m venv create_layer
source create_layer/bin/activate
pip install -r requirements.txt
mkdir python
cp -r create_layer/lib python/
zip -r layer_content.zip python

7、创建 Amazon Lambda Layer

在这里插入图片描述

8、创建 Amazon Lambda 函数，创建用于部署 MCP Server 的 Amazon Lambda 函数

在这里插入图片描述

9、为了让 Amazon Lambda 函数通过内网访问 Amazon Redshift 集群，需要设置 Amazon Lambda 函数的 VPC 、子网和安全组，并配置 Amazon Redshift 集群的安全组入站规则，允许来自 Amazon Lambda 函数安全组的访问

在这里插入图片描述

10、创建 Amazon API Gateway

在这里插入图片描述

11、使用 Amazon Q Developer CLI 进行测试

{"mcpServers":{"redshift-remote-server":{"command": "npx","args":["mcp-remote","https://xxxxx.execute-api.ap-southeast-1.amazonaws.com/dev/redshift/mcp/","--header","x-api-key: you api key of api gateway"]}}
}

Amazon Q 介绍

Amazon Q 是一款生成式人工智能助手，专为企业和开发者打造，能改变组织工作模式。它整合多方数据，以自然语言交互，覆盖软件开发、商业智能分析、客户服务及供应链管理等领域，为员工提供专业功能，加速任务完成，深入洞察数据

  • 专业领域赋能：为软件开发人员、商业智能分析师等不同岗位人员提供针对性功能。比如开发者版可助力编码、测试、部署及故障排查等全流程任务；在商业智能方面，能让业务分析师用自然语言快速构建 BI 仪表板
  • 安全隐私保障：严格遵循身份、角色和权限体系，用户无法通过它访问原本无权接触的数据。其管理控件支持自定义授权，数据在传输和存储时均加密，且不会利用企业数据训练基础模型，确保企业数据安全与隐私
  • 广泛系统集成：内置超 40 个连接器，可连接如 Amazon S3、Salesforce、Google Drive 等常用企业应用和文档存储库，还能为内部 Intranets 等构建自定义连接器，打破数据孤岛，综合各类信息为用户提供服务

总结

本文围绕 Amazon Q Developer + Remote MCP 访问 Amazon Redshift 方案，构建了从本地开发到云端部署的完整数据交互体系。通过搭建 “本地 CLI - MCP Server - 云端数据库” 链路，实现自然语言转 SQL 执行的敏捷开发体验；结合 Lambda Layer、VPC 配置及 API Gateway，完成 MCP Server 远程化部署与内网安全访问。方案以精简架构提升数据操作效率，以安全配置保障链路可靠，为开发者提供了一套适配快速迭代需求的 Redshift 云端数据操作实践指南。

http://www.dtcms.com/a/332404.html

相关文章：

  • 软件重构的破与立：模式方法创新设计与工程实践
  • 【Vibe Coding 工程之 StockAnalyzerPro 记录】- EP1.先写 PRD
  • 集成电路学习：什么是Object Detection目标检测
  • 【算法专题训练】13、回文字符串
  • 另类的pdb恢复方式
  • 逆向练习（六）Andrénalin.3/4
  • Linux应用软件编程---多任务（进程2）（资源回收函数(wait、waitpid)、exec函数族、linux下的命令、const四种位置表示的含义）
  • 一周学会Matplotlib3 Python 数据可视化-绘制树形图
  • Laravel 中解决分表问题
  • ESP32-C3_SMARTCAR
  • 高并发场景下限流算法对比与实践指南
  • 【unity实战】Unity游戏开发：如何用ScriptableObject与序列化多态实现可复用的模块化效果系统？
  • ABP vNext+ WebRTC DataChannel 低延迟传感推送
  • 物联网（IoT）系统中，通信协议如何选择
  • C++——分布式
  • Al大模型-本地私有化部署大模型-大模型微调
  • 图像识别控制技术（Sikuli）深度解析：原理、应用与商业化前景
  • Zabbix【部署 01】Zabbix企业级分布式监控系统部署配置使用实例（在线安装及问题处理）程序安装+数据库初始+前端配置+服务启动+Web登录
  • 後端開發Python篇
  • StarRocks集群部署
  • 从 0 到 1 玩转Claude code（蓝耘UI界面版本）：AI 编程助手的服务器部署与实战指南
  • Xget：为您的开发工作流解锁极致速度
  • 清除 pnpm 缓存，解决不同源安装依赖包失败的问题
  • “大模型”技术专栏 | 浅谈基于 Kubernetes 的 LLM 分布式推理框架架构：概览
  • 力扣 hot100 Day74
  • Floyd 判圈算法（龟兔赛跑算法）
  • LeetCode热题100--146.LRU缓存--中等
  • SSL和TLS协议的消息认证码（MAC）
  • Grafana 与 InfluxDB 可视化深度集成（一）
  • Grafana 与 InfluxDB 可视化深度集成（二）