aws(学习笔记第四十课) image-content-search

aws(学习笔记第四十课) image-content-search

• 利用SQS + Lambda集成
  
• 数据库（Aurora Serverless）
  
• Cognito（用户管理）
  
• rekognition（图像解析）
  

学习内容：

• 利用SQS + Lambda+ Aurora Serverless + Cognito + rekognition
  

---

1. 整体架构

1.1 代码链接

• 代码链接(image-content-search)
  

1.2 关键架构流程

• 用户上传图像 → S3触发Lambda → 图像分析 → 结果存入数据库
  
• 前端通过API Gateway查询数据库（需Cognito认证）
  
• 变乱总线协调异步任务（如分析完成后触发存储操作）。
  

1.3 upload图像文件的动作

1.4 search图像文件的动作

2. 代码解析

2.1 yml文件配置详细设定

2.1.1 yml文件

这里配置了Environment，Author，Region等配置，比起写入cdk.py的python代码中，这里将配置数据写入yml文件中会更加清晰。

1. Environment: Development
2. Author: Mohsen
3. Region: eu-central-1
4. ProjectName: ImageContentSearch
6. DeadLetterQueue:
7.     MaxReceiveCount: 3
9. Cognito:
10.     SelfSignUp: True
11.     DomainPrefix: image-content-search
12.     AllowedOAuthScopes:
13.         - phone
14.         - email
15.         - openid
16.         - profile
18. Database:
19.     Name: images_labels
20.     DeletionProtection: False
21.     Scaling:
22.         AutoPause: True
23.         Min: 2
24.         Max: 8
25.         SecondsToAutoPause: 1800
27. Functions:
28.     DefaultSignedUrlExpirySeconds: "3600"
29.     DefaultMaxApiCallAttempts: "5"

复制代码

2.1.2 yml文件文件解析

1. with open("stack/config.yml", 'r') as stream:
2.             configs = yaml.safe_load(stream)
4. # for example, use configs in image_data_function
5. image_data_function = Function(self, "ICS_IMAGE_DATA",
6.             function_name="ICS_IMAGE_DATA",
7.             runtime=Runtime.PYTHON_3_7,
8.             timeout=Duration.seconds(5),
9.             role=image_data_function_role,
10.             environment={
11.                 "DEFAULT_MAX_CALL_ATTEMPTS": configs["Functions"]["DefaultMaxApiCallAttempts"],
12.                 "CLUSTER_ARN": database_cluster_arn,
13.                 "CREDENTIALS_ARN": database_secret.secret_arn,
14.                 "DB_NAME": database.database_name,
15.                 "REGION": Aws.REGION
16.                 },
17.             handler="main.handler",
18.             code=Code.from_asset("./src/imageData")
19.         )

复制代码

2.2 创建s3 bucket

1.         ### S3 core
2.         images_S3_bucket = _s3.Bucket(self, "ICS_IMAGES")
4.         images_S3_bucket.add_cors_rule(
5.             allowed_methods=[_s3.HttpMethods.POST],
6.             allowed_origins=["*"] # add API gateway web resource URL
7.         )

复制代码

这里，必要从API gateway的domain进行跨域访问S3 bucket的AWS的url，因此必要CORS Cross-Origin Resource Share，是浏览器的一种安全机制，用于控制不同源（协议+域名+端口）之间的资源访问。
在之前的文章中介绍过。spring boot(学习笔记第五课) 自定义错误页，CORS(跨域支持)
2.3 创建API Gateway

1. ### api gateway core
2.         api_gateway = RestApi(self, 'ICS_API_GATEWAY', rest_api_name='ImageContentSearchApiGateway')
3.         api_gateway_resource = api_gateway.root.add_resource(configs["ProjectName"])
4.         api_gateway_landing_page_resource = api_gateway_resource.add_resource('web')
5.         api_gateway_get_signedurl_resource = api_gateway_resource.add_resource('signedUrl')
6.         api_gateway_image_search_resource = api_gateway_resource.add_resource('search')

复制代码

• api_gateway_resource作为父resouce。
  
• api_gateway_landing_page_resource作为子resource，作为文件上传的表示页面。
  
• api_gateway_landing_page_resource作为子resource，作为文件上传S3 bucket的请求url。
  
• api_gateway_image_search_resource作为子resource，作为文件分析结果的页面。
  

2.4 创建文件上传的表示页面

2.4.1 创建文件上传的api_gateway_resource的lambda函数

1. ### landing page function
2.         get_landing_page_function = Function(self, "ICS_GET_LANDING_PAGE",
3.             function_name="ICS_GET_LANDING_PAGE",
4.             runtime=Runtime.PYTHON_3_7,
5.             handler="main.handler",
6.             code=Code.from_asset("./src/landingPage"))

复制代码

2.4.2 配置文件上传的LambdaIntegration

1. get_landing_page_integration = LambdaIntegration(
2.             get_landing_page_function,
3.             proxy=True,
4.             integration_responses=[IntegrationResponse(
5.                 status_code='200',
6.                 response_parameters={
7.                     'method.response.header.Access-Control-Allow-Origin': "'*'"
8.                 }
9.             )])

复制代码

留意，这里配置method.response.header.Access-Control-Allow-Origin以便答应其他domain过来的跨域的访问。但是，如果是生产情况，必要将*换成特定的domain。
2.4.3 配置文件上传的API Gateway Method

2.         api_gateway_landing_page_resource.add_method('GET', get_landing_page_integration,
3.             method_responses=[MethodResponse(
4.                 status_code='200',
5.                 response_parameters={
6.                     'method.response.header.Access-Control-Allow-Origin': True
7.                 }
8.             )])

复制代码

2.4.4 配置文件上传的页面代码

2.4.4.1 python的lambda handler

\src\landingPage\main.py

1. # this function
2. # gets the simple html page
3. # updates the login page and logout page address
4. # returns the content
6. def handler(event, context):
7.     login_page = event["headers"]["Referer"]
9.     return {
10.         'statusCode': 200,
11.         'headers': {
12.             'Content-Type': 'text/html'
13.         },
14.         'body': file_get_contents("index.html").replace('###loginPage###', login_page)
15.     }
17. def file_get_contents(filename):
18.     with open(filename) as f:
19.         return f.read()

复制代码

这里，直接将html的文件打开，进行返回
2.4.4.2 html的页面代码

\src\landingPage\index.html

1. <html>
3. <head>
4.   <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
5.   <meta name="viewport" content="width=device-width, initial-scale=1">
6.   <style>
7.     body{font-family:Arial}.tab{overflow:hidden;border:1px solid #ccc;background-color:#f1f1f1}.tab button{background-color:inherit;float:left;border:none;outline:0;cursor:pointer;padding:14px 16px;transition:.3s;font-size:17px}.tab button:hover{background-color:#ddd}.tab button.active{background-color:#ccc}.tabcontent{display:none;padding:6px 12px;-webkit-animation:fadeEffect 1s;animation:fadeEffect 1s}@-webkit-keyframes fadeEffect{from{opacity:0}to{opacity:1}}@keyframes fadeEffect{from{opacity:0}to{opacity:1}}
8.     input[type=text],select{width:30%;padding:12px 20px;margin:8px 0;display:inline-block;border:1px solid #ccc;border-radius:4px;box-sizing:border-box}.submit[type=submit]{width:20%;background-color:#4caf50;color:#fff;padding:14px 20px;margin:8px 0;border:none;border-radius:4px;cursor:pointer}input[type=submit]:hover{background-color:#45a049}.div{border-radius:5px;background-color:#f2f2f2;padding:20px}
9.     table{border-collapse:collapse;table-layout: fixed;width:100%}td,th{text-align:left;padding:8px;word-wrap:break-word;}tr:nth-child(even){background-color:#f2f2f2}
10.   </style>
11.   <script src="https://code.jquery.com/jquery-3.6.4.min.js"></script>
12.   <script>
13.     var authData = window.location.hash.substring(1);
14.     var idToken = authData.split('&').find((rec) => rec.split('=')[0] == 'id_token').split('=')[1]
15.     var getSignedUrlEndpoint = window.location.href.split('#')[0].replace('web', 'signedUrl')
16.     var searchImageEndpoint = window.location.href.split('#')[0].replace('web', 'search')
17.     var loginPage = '###loginPage###';
18.     var logoutPage = loginPage.replace('login', 'logout');
20.     function logout() {
21.       window.location.replace(logoutPage);
22.     }
24.     function getSignedUrl() {
25.       $.ajax({
26.           url: getSignedUrlEndpoint,
27.           headers: { 'Authorization': idToken },
28.           type: "GET",
29.           contentType: 'application/json; charset=utf-8',
30.           success: function (result) {
31.             console.log(result);
32.             $("#upload_image_form").attr('action', result.url);
33.             $('input[name="key"]').val(result.fields.key);
34.             $('input[name="X-Amz-Credential"]').val(result.fields['x-amz-credential']);
35.             $('input[name="X-Amz-Algorithm"]').val(result.fields['x-amz-algorithm']);
36.             $('input[name="X-Amz-Date"]').val(result.fields['x-amz-date']);
37.             $('input[name="x-amz-security-token"]').val(result.fields['x-amz-security-token']);
38.             $('input[name="Policy"]').val(result.fields.policy);
39.             $('input[name="X-Amz-Signature"]').val(result.fields['x-amz-signature']);
40.           },
41.           error: function (error) {
42.             console.log(error);
43.             if (error.status == 401) {logout();}
44.           }
45.         });
46.     }
48.     function listImagesByLabel(outputTab, label, language, country) {
49.       console.log('Finding images with label: ' + label);
51.       var formData = language ? {label, language, country} : {label}
53.       $.ajax({
54.         url: searchImageEndpoint,
55.         headers: { 'Authorization': idToken },
56.         type: "POST",
57.         data: {...formData, 'source': 'API'},
58.         contentType: 'application/json; charset=utf-8',
59.         success: function (results) {
60.           console.log(results);
61.           $(outputTab + " tr").remove();
62.           $(outputTab + " th").remove();
63.           if (results) {
64.             $(outputTab).append( '<tr><th>Image ID</th></tr>' );
65.             results.forEach(item => {
66.               $(outputTab).append( '<tr><td>' + item.id + '</th></tr>' );
67.             });
68.           }
69.         },
70.         error: function (error) {
71.           console.log(error.responseText, error.status);
72.           if (error.status == 401) {logout();}
73.         }
74.       });
76.     }
78.     $(document).ready(function () {
79.       if (window.location.hash) {
80.         // getSignedUrl();
81.       } else {
82.         console.log('Authorization information from cognito is not found!');
83.       }
84.     });
86.     function submitSearchQuery() {
87.       event.preventDefault();
88.       var language = $('#language').val();
89.       var country = $('#country').val();
90.       var label = $('input[name=label]').val();
92.       listImagesByLabel('#search_image_result', label, language, country);
93.     }
95.     function openTab(evt, tabName) {
96.       $("#upload_result").text('');
97.       $("#upload_result").css("color", "black");
98.       $("#file_select").val('');
100.       if (tabName == 'upload') {
101.         getSignedUrl();
102.       }
104.       if (tabName == 'report') {
105.         listImagesByLabel('#report_image_result', 'offensive');
106.       }
108.       var i, tabcontent, tablinks;
109.       tabcontent = document.getElementsByClassName("tabcontent");
110.       for (i = 0; i < tabcontent.length; i++) {
111.         tabcontent[i].style.display = "none";
112.       }
113.       tablinks = document.getElementsByClassName("tablinks");
114.       for (i = 0; i < tablinks.length; i++) {
115.         tablinks[i].className = tablinks[i].className.replace(" active", "");
116.       }
117.       document.getElementById(tabName).style.display = "block";
118.       evt.currentTarget.className += " active";
119.     }
121.     function submitFileUpload() {
122.       event.preventDefault();
124.       var formData = new FormData();
125.       var selectedFile = $('input[name="file"]')[0]
127.       $('#upload_image_form *').filter(':input').filter(":hidden").each(function(k, v){
128.         formData.append(v.name, v.defaultValue);
129.       });
131.       formData.append("file", selectedFile.files[0]);
133.       $.ajax({
134.           url: $("#upload_image_form").attr('action'),
135.           type: 'POST',
136.           data: formData,
137.           success: function (data) {
138.             $("#upload_result").text('The file has been successfully uploaded!');
139.             $("#upload_result").css("color", "green");
140.             getSignedUrl();
141.           },
142.           error: function(xhr, textStatus, errorThrown){
143.             $("#upload_result").text('The file upload failed!');
144.             $("#upload_result").css("color", "red");
145.             console.log(textStatus);
146.             console.log(errorThrown);
147.           },
148.           cache: false,
149.           contentType: false,
150.           processData: false
151.       });
153.     };
155.   </script>
156. </head>
158. <body>
160.   <div style="width: 50%; margin-left: 25%;">
162.     <div class="tab" style="margin-top: 10px;">
163.       <button class="tablinks" onclick="openTab(event, 'upload')" id="default_tab">Upload</button>
164.       <button class="tablinks" onclick="openTab(event, 'search')">Search</button>
165.       <button class="tablinks" onclick="openTab(event, 'report')">Report</button>
166.       <button class="tablinks" onclick="logout()" style="float: right;">Logout</button>
167.     </div>
169.     <div id="upload" class="tabcontent">
170.       <h3>Upload Image</h3>
171.       <p>Select image to upload:</p>
172.       <form id="upload_image_form" method="post" enctype="multipart/form-data">
173.         <input type="hidden" name="key"/><br />
174.         <input type="hidden" name="X-Amz-Credential"/>
175.         <input type="hidden" name="X-Amz-Algorithm"/>
176.         <input type="hidden" name="X-Amz-Date"/>
177.         <input type="hidden" name="x-amz-security-token"/>
178.         <input type="hidden" name="Policy"/>
179.         <input type="hidden" name="X-Amz-Signature"/>
180.         <input type="file" id="file_select" name="file"/> <br />
181.         <input type="submit" class="submit" value="Upload" onclick="submitFileUpload()"/>
182.       </form>
183.       <p id="upload_result"></p>
184.     </div>
186.     <div id="search" class="tabcontent">
187.       <h3>Search Labels</h3>
189.       <form id="search_image_form" method="post">
190.         <label >Language:</label>
191.         <select name="language" id="language">
192.           <option value="en">English</option>
193.           <option value="tr">Turkish</option>
194.           <option value="nl">Dutch</option>
195.         </select>
196.         <br />
197.         <label >Country:</label>
198.         <select name="country" id="country">
199.           <option value="nl">Netherlands</option>
200.         </select>
201.         <br />
203.         <label >Label to search:</label>
204.         <input type="text" name="label"/><br />
205.         <input class="submit" type="submit" value="Search" onclick="submitSearchQuery()"/>
206.       </form>
208.       <table id="search_image_result"></table>
209.     </div>
211.     <div id="report" class="tabcontent">
212.       <h3>Report of offensive photos</h3>
213.       <table id="report_image_result"></table>
214.     </div>
216.   </div>
218.   <script>
219.     document.getElementById("default_tab").click();
220.   </script>
222. </body>
224. </html>

复制代码

2.5 配置cognito安全认证

1. ### cognito
2.         required_attribute = _cognito.StandardAttribute(required=True)
4.         users_pool = _cognito.UserPool(self, "ICS_USERS_POOL",
5.             auto_verify=_cognito.AutoVerifiedAttrs(email=True), #required for self sign-up
6.             standard_attributes=_cognito.StandardAttributes(email=required_attribute), #required for self sign-up
7.             self_sign_up_enabled=configs["Cognito"]["SelfSignUp"])
9.         user_pool_app_client = _cognito.CfnUserPoolClient(self, "ICS_USERS_POOL_APP_CLIENT",
10.             supported_identity_providers=["COGNITO"],
11.             allowed_o_auth_flows=["implicit"],
12.             allowed_o_auth_scopes=configs["Cognito"]["AllowedOAuthScopes"],
13.             user_pool_id=users_pool.user_pool_id,
14.             callback_urls=[api_gateway.url_for_path('/web')],
15.             allowed_o_auth_flows_user_pool_client=True,
16.             explicit_auth_flows=["ALLOW_REFRESH_TOKEN_AUTH"])

复制代码

这里表示/web必要认证，并且认证之后url将重定向到/web。
2.6 创建signedURL的API Gateway

2.6.1 创建signedURL的API Gateway

1.         ### get signed URL function
2.         get_signedurl_function = Function(self, "ICS_GET_SIGNED_URL",
3.             function_name="ICS_GET_SIGNED_URL",
4.             environment={
5.                 "ICS_IMAGES_BUCKET": images_S3_bucket.bucket_name,
6.                 "DEFAULT_SIGNEDURL_EXPIRY_SECONDS": configs["Functions"]["DefaultSignedUrlExpirySeconds"]
7.             },
8.             runtime=Runtime.PYTHON_3_7,
9.             handler="main.handler",
10.             code=Code.from_asset("./src/getSignedUrl"))
12.         get_signedurl_integration = LambdaIntegration(
13.             get_signedurl_function,
14.             proxy=True,
15.             integration_responses=[IntegrationResponse(
16.                 status_code='200',
17.                 response_parameters={
18.                    'method.response.header.Access-Control-Allow-Origin': "'*'",
19.                 }
20.             )])
22.         api_gateway_get_signedurl_authorizer = CfnAuthorizer(self, "ICS_API_GATEWAY_GET_SIGNED_URL_AUTHORIZER",
23.             rest_api_id=api_gateway_get_signedurl_resource.api.rest_api_id,
24.             name="ICS_API_GATEWAY_GET_SIGNED_URL_AUTHORIZER",
25.             type="COGNITO_USER_POOLS",
26.             identity_source="method.request.header.Authorization",
27.             provider_arns=[users_pool.user_pool_arn])
29.         get_signedurl_method = api_gateway_get_signedurl_resource.add_method('GET', get_signedurl_integration,
30.             authorization_type=AuthorizationType.COGNITO,
31.             method_responses=[MethodResponse(
32.                 status_code='200',
33.                 response_parameters={
34.                     'method.response.header.Access-Control-Allow-Origin': True,
35.                 }
36.             )])
37.         signedurl_custom_resource = typing.cast("aws_cloudformation.CfnCustomResource", get_signedurl_method.node.find_child('Resource'))
38.         signedurl_custom_resource.add_property_override('AuthorizerId', api_gateway_get_signedurl_authorizer.ref)
40.         images_S3_bucket.grant_put(get_signedurl_function, objects_key_pattern="new/*")

复制代码

2.6.2 创建signedURL的API Gateway处理的lambda

这里，从前端通报来的文件被put到S3 bucket。

1. import json
2. import boto3
3. import logging
4. import os
5. import time
6. import hashlib
8. from botocore.exceptions import ClientError
9. images_bucket = os.environ['ICS_IMAGES_BUCKET']
10. default_signedurl_expiry_seconds = os.environ['DEFAULT_SIGNEDURL_EXPIRY_SECONDS']
12. # this function
13. # creates a pre-sighned URL for uploading image to S3 and returns it
15. def handler(event, context):
16.     uniquehash = hashlib.sha1("{}".format(time.time_ns()).encode('utf-8')).hexdigest()
17.     result = create_presigned_post(images_bucket, "new/{}/{}".format(uniquehash[:2],uniquehash))
19.     return {
20.         'statusCode': 200,
21.         'headers': {
22.             'Content-Type': 'application/json; charset=UTF-8'
23.         },
24.         'body': json.dumps(result)
25.     }
27. def create_presigned_post(bucket_name, object_name, fields=None, conditions=None, expiration=default_signedurl_expiry_seconds):
28.     s3_client = boto3.client('s3')
30.     try:
31.         response = s3_client.generate_presigned_post(bucket_name,
32.             object_name,
33.             Fields=fields,
34.             Conditions=conditions,
35.             ExpiresIn=int(expiration)
36.         )
37.     except ClientError as e:
38.         logging.error(e)
39.         return None
41.     return response

复制代码

2.7 监视S3 bucket的lambda

2.7.1 监视架构

2.7.2 创建lmabda

1. ### image massage function
2.         image_massage_function = Function(self, "ICS_IMAGE_MASSAGE",
3.             function_name="ICS_IMAGE_MASSAGE",
4.             timeout=Duration.seconds(6),
5.             runtime=Runtime.PYTHON_3_7,
6.             environment={"ICS_IMAGE_MASSAGE": image_queue.queue_name},
7.             handler="main.handler",
8.             code=Code.from_asset("./src/imageMassage"))
10.         images_S3_bucket.grant_write(image_massage_function, "processed/*")
11.         images_S3_bucket.grant_delete(image_massage_function, "new/*")
12.         images_S3_bucket.grant_read(image_massage_function, "new/*")
14.         new_image_added_notification = _s3notification.LambdaDestination(image_massage_function)
16.         images_S3_bucket.add_event_notification(_s3.EventType.OBJECT_CREATED,
17.             new_image_added_notification,
18.             _s3.NotificationKeyFilter(prefix="new/")
19.             )
21.         image_queue.grant_send_messages(image_massage_function)

复制代码

2.7.2 S3 bucket监视的lmabda代码

1. def handler(event, context):
2.     s3 = boto3.resource('s3')
4.     for record in event['Records']:
5.         newKey = record['s3']['object']['key']
6.         bucket = record['s3']['bucket']['name']
7.         name = bucket.split("/")[-1]
8.         localfile = "/tmp/{}".format(name)
10.         # download the file
11.         new_key_obj = s3.Object(bucket, newKey)
12.         new_key_obj.download_file(localfile)
14.         # calc hash
15.         image_SHA1 = getSha1(localfile)
17.         # check if not exist
18.         processed_key = "processed/{}/{}".format(image_SHA1[:2], image_SHA1)
19.         key_is_processed = isS3ObjectExist(bucket, processed_key)
20.         if key_is_processed: continue
22.         # add to the queue
23.         message = json.dumps({
24.             "image": processed_key,
25.             "original_key": newKey,
26.             "original_last_modified": new_key_obj.last_modified,
27.             "etag": new_key_obj.e_tag
28.         }, default=str)
30.         queue = sqs.get_queue_by_name(QueueName=queue_name)
31.         response = queue.send_message(MessageBody=message)
32.         logger.info("Message {} has been sent.".format(response.get('MessageId')))
34.         #move the image
35.         s3.Object(bucket, processed_key).copy_from(CopySource="{}/{}".format(bucket,newKey))
36.         new_key_obj.delete()
38.         # delete local file
39.         os.remove(localfile)
41.     return True
43. def isS3ObjectExist(bucket, key):
44.     s3 = boto3.resource('s3')
46.     try:
47.         s3.Object(bucket,key)
48.         return False
49.     except botocore.exceptions.ClientError as e:
50.         if e.response['Error']['Code'] == "404":
51.             return True
52.         else:
53.             raise e
55. def getSha1(filepath):
56.     sha1 = hashlib.sha1()
58.     with open(filepath, 'rb') as f:
59.         while True:
60.             data = f.read(65536) # read in 64kb chunks
61.             if not data: break
62.             sha1.update(data)
64.     return sha1.hexdigest()

复制代码

2.8 创建lambda对图像进行分析

2.8.1 图像分析架构

2.8.1 图像分析lambda函数

1. def handler(event, context):
3.     for record in event['Records']:
4.         # receiptHandle = record['receiptHandle']
5.         body = record['body']
6.         message = json.loads(body)
8.         bucket = os.environ['ICS_IMAGES_BUCKET']
9.         key = message['image']
10.         # original_key = message['original_key']
11.         # original_last_modified = message['original_last_modified']
12.         # etag = message['etag']
14.         logger.info('Processing {}.'.format(key))
16.         detected_labels = rekognition_client.detect_labels(
17.             Image={'S3Object': {'Bucket': bucket, 'Name': key}},
18.             MaxLabels=20,
19.             MinConfidence=85)
21.         detected_unsafe_contents = rekognition_client.detect_moderation_labels(
22.             Image={'S3Object': {'Bucket': bucket, 'Name': key}})
24.         object_labels = []
26.         for l in detected_labels['Labels']:
27.             object_labels.append(l['Name'].lower()) # add objects in image
29.         for l in detected_unsafe_contents['ModerationLabels']:
30.             if ('offensive' not in object_labels): object_labels.append("offensive") #label image as offensive
31.             object_labels.append(l['Name'].lower())
33.         image_id = key.split("/")[-1]
35.         response = events_client.put_events(
36.             Entries=[
37.                 {
38.                     'Source': "EventBridge",
39.                     'Resources': [
40.                         context.invoked_function_arn,
41.                     ],
42.                     'DetailType': 'images_labels',
43.                     'Detail': json.dumps({"labels": object_labels, "image_id": image_id}),
44.                     'EventBusName': event_bus_name
45.                 },
46.             ]
47.         )
49.         if response["FailedEntryCount"] == 1:
50.             raise Exception(f'Failed entry observed. Count: {response["Entries"]}')

复制代码

2.9 创建图像分析数据生存的数据库

2.9.1 创建数据库的密码

1. ### database
2.         database_secret = _secrets_manager.Secret(self, "ICS_DATABASE_SECRET",
3.             secret_name="rds-db-credentials/image-content-search-rds-secret",
4.             generate_secret_string=_secrets_manager.SecretStringGenerator(
5.                 generate_string_key='password',
6.                 secret_string_template='{"username": "dba"}',
7.                 exclude_punctuation=True,
8.                 exclude_characters='/@" \\\'',
9.                 require_each_included_type=True
10.             )
11.         )

复制代码

2.9.2 创建数据库

1. database = _rds.CfnDBCluster(self, "ICS_DATABASE",
2.             engine=_rds.DatabaseClusterEngine.aurora_mysql(version=_rds.AuroraMysqlEngineVersion.VER_5_7_12).engine_type,
3.             engine_mode="serverless",
4.             database_name=configs["Database"]["Name"],
5.             enable_http_endpoint=True,
6.             deletion_protection=configs["Database"]["DeletionProtection"],
7.             master_username=database_secret.secret_value_from_json("username").to_string(),
8.             master_user_password=database_secret.secret_value_from_json("password").to_string(),
9.             scaling_configuration=_rds.CfnDBCluster.ScalingConfigurationProperty(
10.                 auto_pause=configs["Database"]["Scaling"]["AutoPause"],
11.                 min_capacity=configs["Database"]["Scaling"]["Min"],
12.                 max_capacity=configs["Database"]["Scaling"]["Max"],
13.                 seconds_until_auto_pause=configs["Database"]["Scaling"]["SecondsToAutoPause"]
14.             ),
15.         )

复制代码

2.9.3 将数据库密码和数据库绑定attachment

1.         database_cluster_arn = "arn:aws:rds:{}:{}:cluster:{}".format(Aws.REGION, Aws.ACCOUNT_ID, database.ref)
3.         secret_target = _secrets_manager.CfnSecretTargetAttachment(self,"ICS_DATABASE_SECRET_TARGET",
4.             target_type="AWS::RDS::DBCluster",
5.             target_id=database.ref,
6.             secret_id=database_secret.secret_arn
7.         )
9.         secret_target.node.add_dependency(database)

复制代码

2.10 创建数据库的lambda function

2.10.1 创建数据库访问role

1.         ### database function
2.         image_data_function_role = _iam.Role(self, "ICS_IMAGE_DATA_FUNCTION_ROLE",
3.             role_name="ICS_IMAGE_DATA_FUNCTION_ROLE",
4.             assumed_by=_iam.ServicePrincipal("lambda.amazonaws.com"),
5.             managed_policies=[
6.                 _iam.ManagedPolicy.from_aws_managed_policy_name("service-role/AWSLambdaVPCAccessExecutionRole"),
7.                 _iam.ManagedPolicy.from_aws_managed_policy_name("service-role/AWSLambdaBasicExecutionRole"),
8.                 _iam.ManagedPolicy.from_aws_managed_policy_name("AmazonRDSDataFullAccess")
9.             ]
10.         )

复制代码

2.10.2 创建image_data_function

1.        image_data_function = Function(self, "ICS_IMAGE_DATA",
2.             function_name="ICS_IMAGE_DATA",
3.             runtime=Runtime.PYTHON_3_7,
4.             timeout=Duration.seconds(5),
5.             role=image_data_function_role,
6.             environment={
7.                 "DEFAULT_MAX_CALL_ATTEMPTS": configs["Functions"]["DefaultMaxApiCallAttempts"],
8.                 "CLUSTER_ARN": database_cluster_arn,
9.                 "CREDENTIALS_ARN": database_secret.secret_arn,
10.                 "DB_NAME": database.database_name,
11.                 "REGION": Aws.REGION
12.                 },
13.             handler="main.handler",
14.             code=Code.from_asset("./src/imageData")
15.         )

复制代码

2.10.3 创建image search function

1.         image_search_integration = LambdaIntegration(
2.             image_data_function,
3.             proxy=True,
4.             integration_responses=[IntegrationResponse(
5.                 status_code='200',
6.                 response_parameters={
7.                    'method.response.header.Access-Control-Allow-Origin': "'*'",
8.                 }
9.             )])
11.         api_gateway_image_search_authorizer = CfnAuthorizer(self, "ICS_API_GATEWAY_IMAGE_SEARCH_AUTHORIZER",
12.             rest_api_id=api_gateway_image_search_resource.api.rest_api_id,
13.             name="ICS_API_GATEWAY_IMAGE_SEARCH_AUTHORIZER",
14.             type="COGNITO_USER_POOLS",
15.             identity_source="method.request.header.Authorization",
16.             provider_arns=[users_pool.user_pool_arn])
18.         search_integration_method = api_gateway_image_search_resource.add_method('POST', image_search_integration,
19.             authorization_type=AuthorizationType.COGNITO,
20.             method_responses=[MethodResponse(
21.                 status_code='200',
22.                 response_parameters={
23.                     'method.response.header.Access-Control-Allow-Origin': True,
24.                 }
25.             )])
26.         search_integration_custom_resource = typing.cast("aws_cloudformation.CfnCustomResource", search_integration_method.node.find_child('Resource'))
27.         search_integration_custom_resource.add_property_override('AuthorizerId', api_gateway_image_search_authorizer.ref)

复制代码

2.10.4 创建image db的schema

1.         ### custom resource
2.         lambda_provider = Provider(self, 'ICS_IMAGE_DATA_PROVIDER',
3.             on_event_handler=image_data_function
4.         )
6.         CustomResource(self, 'ICS_IMAGE_DATA_RESOURCE',
7.             service_token=lambda_provider.service_token,
8.             pascal_case_properties=False,
9.             resource_type="Custom::SchemaCreation",
10.             properties={
11.                 "source": "Cloudformation"
12.             }
13.         )

复制代码

2.10.5 创建image db的生存lambda

image_analyzer_function生存分析结果到event_bus之中，这里继续将event_rule.add_target(_event_targets.LambdaFunction(image_data_function))，之后image_data_function会将数据生存到数据库。

1.         ### event bridge
2.         event_bus = _events.EventBus(self, "ICS_IMAGE_CONTENT_BUS", event_bus_name="ImageContentBus")
4.         event_rule = _events.Rule(self, "ICS_IMAGE_CONTENT_RULE",
5.             rule_name="ICS_IMAGE_CONTENT_RULE",
6.             description="The event from image analyzer to store the data",
7.             event_bus=event_bus,
8.             event_pattern=_events.EventPattern(resources=[image_analyzer_function.function_arn]),
9.         )
11.         event_rule.add_target(_event_targets.LambdaFunction(image_data_function))

复制代码

3 执行cdk

TODO

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。