aws(学习笔记第四十二课) serverless-backend

aws(学习笔记第四十二课) serverless-backend

• 使用Amazon API Gateway以及lamda进行后台处理

学习内容：

• 使用Amazon API Gateway
• 使用lambda处理API Gateway请求，接受json参数
• 使用Amazon S3 - Bucket to store images or files
• 使用Amazon DynamoDB
• 使用Amazon Cognito进行用户认证

---

1. 整体架构

1.1 代码链接

代码连接(serverless-backend)

1.2 整体架构

2 代码分析

2.1 创建S3 bucket

bucket_name = _cfnParameter(self, "uploadBucketName", type="String",description="The name of the Amazon S3 bucket where uploaded images will be stored.")
my_bucket = _s3.Bucket(self, id='s3bucket',bucket_name=bucket_name.value_as_string)
my_bucket.grant_read_write(my_lambda)

这里，S3 bucket的名字是通过cdk deploy时候，指定的参数uploadBucketName。

cdk --require-approval never deploy ServerlessBackendStack --parameters uploadBucketName=finlay-20250524-upload

2.2 创建cognito user pool

        user_pool = _cognito.UserPool(self, "UserPool")user_pool.add_client("app-client", auth_flows=_cognito.AuthFlow(user_password=True),supported_identity_providers=[_cognito.UserPoolClientIdentityProvider.COGNITO])auth = _apigateway.CognitoUserPoolsAuthorizer(self, "imagesAuthorizer",cognito_user_pools=[user_pool])

这里，创建cognito认证方式，创建user pool。并且创建apigateway.CognitoUserPoolsAuthorizer。

2.3 创建dynamoDB

my_table = _dynamodb.Table(self, id='dynamoTable', table_name='formmetadata', partition_key=_dynamodb.Attribute(name='userid', type=_dynamodb.AttributeType.STRING)) #change primary key here

创建dynamoDB，用来存储image文件的metadata。

2.4 创建S3 bucket

my_bucket = _s3.Bucket(self, id='s3bucket',bucket_name=bucket_name.value_as_string)

使用S3 bucket来进行保存图片，这里S3 bucket的名字是通过cdk deploy执行时候，指定的参数uploadBucketName。

2.5 创建lambda，并赋予权限

my_lambda = _lambda.Function(self, id='lambdafunction', function_name="formlambda", runtime=_lambda.Runtime.PYTHON_3_9,handler='index.handler',code=_lambda.Code.from_asset(os.path.join("./", "lambda-handler")),environment={'bucket': my_bucket.bucket_name,'table': my_table.table_name})
my_bucket.grant_read_write(my_lambda)
my_table.grant_read_write_data(my_lambda)

这里的lambda函数用来接收API Gateway来的请求处理，并且dynamoDB的table和S3 bucket都对lambda函数打开了read/write权限。

• 保存image文件的meta data
• 保存image文件到S3 bucket

下面是lambda的处理代码。

def upload_metadata(key, userid):table = os.environ['table']bucket = os.environ['bucket']reference = {'Bucket': {'S': bucket}, 'Key': {'S': key}}response = dynamodb.put_item(TableName=table,Item={"userid": {'S': userid}, "photo_reference": {'M': reference}})print(response)def upload_image(image_id, img, userid):bucket = os.environ['bucket']extension = imghdr.what(None, h=img)key = f"{image_id}.{extension}"try:s3.put_object(Bucket=bucket, Key=key, Body=img)upload_metadata(key, userid)except botocore.exceptions.ClientError as e:print(e)return Falsereturn Truedef handler(event, context):print(event)# Generate random image idimage_id = str(uuid.uuid4())data = json.loads(event['body'])userid = data['userid']img = base64.b64decode(data['photo'])if upload_image(image_id, img, userid):return {'statusCode': 200,'headers': {'Access-Control-Allow-Headers': '*','Access-Control-Allow-Origin': '*','Access-Control-Allow-Methods': 'OPTIONS,POST,GET'},'body': json.dumps('Success!')}return {'statusCode': 500,'headers': {'Access-Control-Allow-Headers': '*','Access-Control-Allow-Origin': '*','Access-Control-Allow-Methods': 'OPTIONS,POST,GET'},'body': json.dumps('Request Failed!')}

2.6 创建API Gateway，并指定为lambda函数处理

my_api = _apigateway.LambdaRestApi(self, id='lambdaapi', rest_api_name='formapi', handler=my_lambda, proxy=True)postData = my_api.root.add_resource("form")postData.add_method("POST", authorizer=auth,authorization_type=_apigateway.AuthorizationType.COGNITO)  # POST images/files & metadata

这里，

• 指定lambda函数作为处理http post请求的handler
• 指定认证方式为cognito的user pool
  

3. 执行cdk

3.1 检查S3 bucket和dynamoDB

如果同样名字的S3 bucket和dynamoDB已经存在，那么Stack执行会失败，所以提前检查。

• dynamoDB
• S3 bucket
  

3.2 开始执行Stack

3.2.1 修改lambda执行环境的代码

my_lambda = _lambda.Function(self, id='lambdafunction', function_name="formlambda", runtime=_lambda.Runtime.PYTHON_3_9,handler='index.handler',code=_lambda.Code.from_asset(os.path.join("./", "lambda-handler")),environment={'bucket': my_bucket.bucket_name,'table': my_table.table_name})

如果太旧的python执行环境，会导致部署失败，这里指定_lambda.Runtime.PYTHON_3_9。

3.2.2 开始执行

cd serverless-backend
python -m venv .venv
source .venv/Script/activate
pip install -r requirement.txt
cdk --require-approval never deploy ServerlessBackendStack --parameters uploadBucketName=finlay-20250524-upload

到这里，部署成功。

4 测试程序

4.1 Create Cognito User

之后进入cognito的user配置画面

创建用户，使用user name和password和user pool ID

• 之后使用aws cli，设定用户和密码为permanent。这里，用户名字为finlay，密码自己设定。这里带有XXX都是需要替换的。

  aws cognito-idp admin-set-user-password --user-pool-id ap-northeast-1-XXXXXX --username finlayXXXX --password XXXXXX --permanent
  

• 之后取得finlay这个user的id token

aws cognito-idp initiate-auth --region ap-northeast-1 --auth-flow USER_PASSWORD_AUTH --client-id XXXXXX --auth-parameters USERNAME=finlay,PASSWORD=XXXXXX

这里的--client-id必须要去cloudformation这里去查找。


之后保存IdToken随后使用。

4.2 获得API Gateway的调用url

4.3 将图片文件进行base64的encode

import base64with open(r"d:\test.jpg", "rb") as image_file:base64_string = base64.b64encode(image_file.read()).decode('utf-8')print(base64_string)

注意python文件不能为base64，取其他名字即可。

4.4 使用Postman进行post

4.4.1 设定认证情报Authorization

• URL设定
  URL这里设定成前面取得的API Gateway的url，注意，后缀加上form。
  https://XXXXXX.execute-api.ap-northeast-1.amazonaws.com/prod/form
• Authentication设定
  这里设定成前面取得的idToken。

4.4.2 设定json

设定形式为

 { "userid": "myUserID", "photo": "image details" }

4.4.3 请求保存图片

方法选择post，之后选择send
最后会显示成功success。

4.4.4 从S3 bucket中取得保存图片

5 注意清除Stack

• 清除Stack
• 清除S3 bucket
• 清除dynamoDB