锦通 发表于 6 天前

实现Azure Data Factory安全地请求企业内部API返回数据

必要设置一个Web Activity组件在Azure云上的Azure Data Factory运行,它必要访问企业内部的API获取JSON格式的数据,企业有网关和防火墙,API有公司的okta身份认证,通过公司的域账号来授权访问,如今必要创建一个专用的域账号,让Web Activity组件访问Azure Key Vault,来获取账号密码,然后通过设置访问公司内部API的数据,请写出所有的开辟设置步调,以及完成这一功能的所有的Python源代码,必要确保安全性和可靠性。
分步设置及开辟流程

1. 创建专用域账号(企业AD账户)



[*]联系企业AD管理员创建专用服务账号(如 svc_adf_api),确保账号具备最小权限访问目标API。
[*]记载账号的 Client ID(用于OAuth认证)并设置强密码。
2. 设置Okta应用程序



[*]登录Okta管理控制台,创建新应用:
   
[*]应用类型: Service (呆板到呆板) 或 Web(根据API需求)。   
[*]认证方式: OAuth 2.0 客户端根据(Client Credentials Grant)。   
[*]作用域(Scopes): 添加API所需的作用域(如 api_access)。   
[*]客户端ID和密钥: 记载生成的Client ID和Secret(若适用,但此处使用AD密码而非Okta密钥)。

[*]留意:若API使用Okta集成认证,大概必要调整设置,确保服务账号有权限。
3. 创建Azure Key Vault并存储根据



[*]创建Key Vault:
   
[*]在Azure流派中新建Key Vault,如 kv-adf-secrets。   
[*]在Key Vault中创建机密(Secret),名称如 internal-api-password,值为服务账号的密码。

[*]设置访问策略:
   
[*]添加策略,主体为Azure Data Factory的托管身份(系统分配)。   
[*]权限:授予 Get 和 List 机密权限。

4. 设置Azure Data Factory(ADF)



[*]启用托管身份:
   
[*]在ADF资源中,确保启用系统分配的托管身份。

[*]链接服务到Key Vault:
   
[*]创建新的 链接服务,类型为Azure Key Vault。   
[*]使用托管身份认证,毗连到上一步创建的Key Vault。

5. 网络设置



[*]允许ADF出站IP:
   
[*]获取ADF地点区域的出站IP列表(参考Azure文档)。   
[*]在企业防火墙中将这些IP加入白名单,允许访问内部API。

[*]备选方案:
   
[*]使用Azure APIM(API管理)作为中介,设置私有闭幕点或VPN/ExpressRoute确保安全毗连。

6. 开辟ADF管道



[*]步调1:获取Key Vault中的密码
   
[*]使用 Lookup运动 或 Web运动(调用Key Vault RE


免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页: [1]
查看完整版本: 实现Azure Data Factory安全地请求企业内部API返回数据