Azure AI 内容安全Content Safety Studio实战
Azure AI Content Safety 检测应用程序和服务中用户天生和 AI 天生的有害内容。 Azure AI 内容安全包括文本和图像 API，可用于检测有害质料。 交互式 Content Safety Studio，可用于检察、浏览和试用用于检测不同情势的有害内容的示例代码。关注TechLead，分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发履历、团队管理履历，同济本复旦硕，复旦机器人智能实验室成员，阿里云认证的资深架构师，项目管理专业人士，上亿营收AI产品研发负责人
https://img-blog.csdnimg.cn/img_convert/b6d1204eb4726472e2daa62a9710a943.png
什么是 Azure AI 内容安全？
Azure AI Content Safety 检测应用程序和服务中用户天生和 AI 天生的有害内容。 Azure AI 内容安全包括文本和图像 API，可用于检测有害质料。 交互式 Content Safety Studio，可用于检察、浏览和试用用于检测不同情势的有害内容的示例代码。内容筛选软件可以帮助你的应用服从法规或维护用户的预期情况。
利用场所
下面是软件开发职员或团队需要利用内容考核服务的一些场景：
[*]在联机市场中审查产品目录和其他用户天生的内容。
[*]在游戏公司中审查用户天生的游戏项目和聊天室。
[*]对用户添加的图片和笔墨举行审查的交际通讯平台。
[*]企业媒体公司对其内容举行集中式审查。
[*]K-12 教诲解决方案提供商为学生和教师筛选掉不当的内容。
[*]不能利用 Azure AI 内容安全检测非法儿童剥削图像。
产品类型
此服务提供不同类型的分析。 下表先容当前可用的 API。
类型功能分析文本 API扫描文本以检测多种严重性级别的色情、暴力、愤恨和自残内容。分析图像 API扫描图像以检测多种严重性级别的色情、暴力、愤恨和自残内容。越狱风险检测（新功能）扫描文本以查找大型语言模型上的[越狱攻击风险]受掩护质料文本检测（新功能）扫描 AI 天生的文本以查找已知文本内容（例如歌词、文章、食谱、选定的 Web 内容）。 Content Safety Studio
https://img-blog.csdnimg.cn/img_convert/5fc3a7cd0218cbf3a1f2e4d1306717ed.png
Azure AI Content Safety Studio 是一种在线工具，旨在利用先进的内容考核 ML 模型处理大概存在的冒犯性、有风险或不良的内容。 它提供模板和自定义工作流，让用户能够选择和构建自己的内容考核系统。 用户可以上传自己的内容，也可以利用提供的示例内容举行试用。
Content Safety Studio 不但包含现成的 AI 模型，还包含 Microsoft 内置术语阻止列表，用于标记不雅内容并及时了解新趋势。 你还可以上传自己的阻止列表，拓展有害内容的覆盖范围以满足特定用例。
该工作室还允许设置考核工作流，可在此中持续监视和提高内容考核性能。 可帮助你满足各种行业（如游戏、媒体、教诲、电子商务等）的内容要求。 企业可以轻松地将其服务毗连到该工作室，并及时考核其内容（包括用户天生的内容以及 AI 天生的内容）。
所有这些功能都由工作室及厥后端处理，客户无需操心模型开发。 可以载入数据以快速验证并对 KPI 举行相应的监视，例如技术指标（耽误、正确性、召回率）或业务指标（阻止率、阻止量、类别比例、语言比例等）。 通过简朴的操作和设置，客户可以快速测试不同的解决方案并找到最合适的解决方案，而无需花时间试验自定义模型或手动举行考核。
Content Safety Studio 功能
内容安全工作室中提供以下 Azure AI 内容安全服务功能：
[*] 审查文本内容：利用文本审查工具，可以轻松对文本内容运行测试。 无论是要测试单个句子照旧整个数据集，我们的工具都为你提供用户友好的界面，让你可以直接在流派中评估测试结果。 可以尝试利用不同的敏感度级别来设置内容筛选器和阻止列表管理，确保内容始终按照确切规范举行考核。 别的，借助导出代码的功能，可以直接在应用程序中实现该工具，从而简化工作流并节省时间。
[*] 审查图像内容：利用图像审查工具，可以轻松对图像运行测试，以确保它们符合内容尺度。 利用用户友好的界面，可以直接在流派中评估测试结果，并且可以尝试利用不同的敏感度级别来设置内容筛选器。 自定义设置后，可以轻松导出代码，在应用程序中实现该工具。
[*] 监视联机活动：借助功能强大的监视页面，你可以轻松地跟踪不同情势的审查 API 利用情况和趋势。 利用此功能，可以访问具体的响应信息，包括类别和严重性分布情况、耽误、错误和阻止列表检测。 此信息提供内容审查性能的完备概述，让你能优化工作流，并确保内容始终按照确切规范举行考核。 利用我们的用户友好界面，可以快速轻松地导航监视页面，以访问在内容考核策略方面做出明智决议所需的信息。 你拥有随时了解内容考核性能以及实现内容目的所需的工具。
分析文本内容
“审查文本内容”页提供快速试用文本审查的功能。
https://img-blog.csdnimg.cn/img_convert/9d7efa9301dd362081f605309215f6af.png
[*] 选择“审查文本内容”面板。
[*] 将文本添加到输入字段，或从页面上的面板中选择示例文本。
提示
文本大小和粒度
文本提交的默认最大长度为 10K 个字符。
[*] 选择“运行测试”。
该服务返回检测到的所有类别，以及每个类别的严重性级别（0-安全、2-低、4-中、6-高）。 它还会根据设置的筛选器返回二进制的“已接受”/“已拒绝”结果。 利用右侧“设置筛选器”选项卡中的矩阵为每个类别设置允许/克制的严重性级别。 然后，可以再次运行文本以检察筛选器的结果。
通过右侧的“利用阻止列表”选项卡，可以创建、编辑阻止列表并将其添加到审查工作流。 如果在运行测试时启用了阻止列表，则会在“结果”下获取“阻止列表检测”面板。 该面板会陈诉阻止列表的任何匹配项。
检测越狱风险
在“越狱风险检测”面板中可以尝试举行越狱风险检测。 越狱攻击是用户提示，旨在激怒天生式 AI 模型展示它训练的行为，以避免或打破系统消息中设置的规则。 这些攻击可以是复杂的脚色扮演，也可以是对安全目的的玄妙颠覆。
https://img-blog.csdnimg.cn/img_convert/580e6ffecf6b4df5569908bce8a3f524.png
[*]选择“越狱风险检测”面板。
[*]选择页面上的示例文本，或输入自己的内容举行测试。 还可以上传 CSV 文件以执行批量测试。
[*]选择“运行测试”。
服务将返回每个样本的越狱风险级别和类型。 你还可以通过选择“具体信息”按钮来检察越狱风险检测结果的具体信息。
分析图像内容
“审查图像内容”页提供快速试用图像审查的功能。
https://img-blog.csdnimg.cn/img_convert/7ef6f767d430e6c726a7ecad6a33ad43.png
[*]选择“审查图像内容”面板。
[*]从页面上的面板中选择示例图像，或上传自己的图像。 提交图像的最大大小为 4MB，图像尺寸必须介于 50x50 像素到 2048x2048 像素之间。 图像可以是 JPEG、PNG、GIF、BMP、TIFF 或 WEBP 格式。
[*]选择“运行测试”。
该服务返回检测到的所有类别，以及每个类别的严重性级别（0-安全、2-低、4-中、6-高）。 它还会根据设置的筛选器返回二进制的“已接受”/“已拒绝”结果。 利用右侧“设置筛选器”选项卡中的矩阵为每个类别设置允许/克制的严重性级别。 然后，可以再次运行文本以检察筛选器的结果。
检察和导出代码
可以利用“分析文本内容”或“分析图像内容”页中的“检察代码”功能检察和复制示例代码，此中包括严重性筛选、阻止列表和审查函数的设置。 然后，你可以自行部署代码。
https://img-blog.csdnimg.cn/img_convert/422fe5763ffb78ea31d6df119774e235.png
监视联机活动
利用“监视联机活动”页可以检察 API 利用情况和趋势。
https://img-blog.csdnimg.cn/img_convert/dcbad9fe297398cb14d8f8009559a525.png
你可以选择要监视的媒体类型。 还可以通过选择“显示以下时间段内的数据:__”来指定要检查的时间范围。
在“每个类别的拒绝率”图表中，还可以调整每个类别的严重性阈值。
https://img-blog.csdnimg.cn/img_convert/415436d677fd95e30ab4ac80b1cc4483.png
如果要根据“十大禁用字词”图表更改某些字词，也可以编辑阻止列表。
管理资源
若要检察资源具体信息（如名称和定价层），请选择 Content Safety Studio 主页右上角的“设置”图标，然后选择“资源”选项卡。如果有其他资源，也可以在此处切换资源。
https://img-blog.csdnimg.cn/img_convert/e0093c652b6dd6d50c2255700b85e7de.png
输入要求
文本提交的默认最大长度为 10K 个字符。 如果需要分析较长的文本块，可以跨多个相关提交拆分输入文本（例如利用标点符号或空格）。
提交图像的最大大小为 4MB，图像尺寸必须介于 50x50 像素到 2048x2048 像素之间。 图像可以是 JPEG、PNG、GIF、BMP、TIFF 或 WEBP 格式。
安全性
利用 Microsoft Entra ID 或托管标识管理访问权限
为了实现增强的安全性，可以利用 Microsoft Entra ID 或托管实例 (MI) 来管理对资源的访问。
[*]在创建内容安全资源时，将会自动启用托管标识。
[*]API 和 SDK 方案都支持 Microsoft Entra ID。
静态数据加密
了解 Azure AI 内容安全如那边理[数据的加密和解密]。 客户管理的密钥 (CMK)（也称为创建自己的密钥 (BYOK)）在创建、轮换、禁用和撤销访问控制方面具有更大的机动性。 别的，你还可以考核用于掩护数据的加密密钥。
你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。
Azure AI 内容安全支持的语言
文本审查
Azure AI 内容安全文本审查功能支持多种语言，但它只针对少数语言举行了专门训练和测试。
备注
语言自动检测
无需为文本审查指定语言代码，服务会自动检测你的输入语言。
语言名称语言代码文本审查颠末专门训练南非荷兰语af✔阿尔巴尼亚语sq✔阿姆哈拉语am✔阿拉伯语ar✔亚美尼亚语hy✔阿塞拜疆语az✔Banglabn✔巴斯克语eu✔白俄罗斯语be✔保加利亚语bg✔保加利亚语 (拉丁文)bg-Latn✔缅甸语my✔加泰罗尼亚语ca✔宿雾语ceb✔中文zh✔✔中文（拉丁语）zh-Latn✔柯西嘉语co✔克罗地亚语hr✔捷克语cs✔丹麦语da✔荷兰语nl✔英语en✔✔天下语eo✔爱沙尼亚语et✔菲律宾语fil✔芬兰语fi✔法语fr✔✔加利西亚语gl✔格鲁吉亚语ka✔德语de✔✔希腊语el✔希腊语（拉丁语）el-Latn✔古吉拉特语gu✔海地语ht✔豪撒语ha✔夏威夷语haw✔希伯来语iw✔Hindihi✔北印度语（拉丁语脚本）hi-Latn✔苗语（蒙古）hmn✔匈牙利语hu✔冰岛语is✔伊博语ig✔印度尼西亚语id✔爱尔兰语ga✔意大利语it✔✔日语ja✔✔日语（拉丁语）ja-Latn✔爪哇文jv✔哈萨克语kk✔高棉语km✔朝鲜语ko✔库尔德语ku✔柯尔克孜语ky✔老挝语lo✔拉丁语la✔拉脱维亚语lv✔立陶宛语lt✔卢森堡语lb✔马其顿语mk✔马达加斯加语mg✔马来语ms✔马拉雅拉姆语ml✔马耳他语mt✔毛利语mi✔马拉地语mr✔蒙古语mn✔尼泊尔语ne✔尼昂加语ny✔挪威语no✔普什图语ps✔波斯语fa✔波兰语pl✔葡萄牙语pt✔✔旁遮普语pa✔罗马尼亚语ro✔俄语ru✔俄语（拉丁语）ru-Latn✔苏格兰盖尔语gd✔塞尔维亚语sr✔绍纳语sn✔信德语sd✔僧伽罗语si✔斯洛伐克语sk✔斯洛文尼亚语sl✔索马里语so✔南索托语st✔西班牙语es✔✔巽他语su✔斯瓦希里语sw✔瑞典语sv✔塔吉克语tg✔泰米尔语ta✔泰卢固语te✔泰语th✔土耳其语tr✔乌克兰语uk✔未知语言und✔乌尔都语ur✔乌兹别克语uz✔越南语vi✔威尔士语cy✔西弗里西亚语fy✔班图语xh✔意第绪语yi✔约鲁巴语yo✔祖鲁语zu✔
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]