35W+京东商家共同选择的京点点AIGC平台，内容天生妙在哪里？ | 京东零售技术实践
在电商领域，商品图像的质量和结果、商品营销文案的准确程度，都会直接影响消耗者的购买决策。这些营销素材的制作会耗费商家很多的本钱和精神。为支持商家在专业营销质料方面的内容天生需求，京东零售技术自研了京点点 AIGC 内容天生平台（以下简称“京点点”），商家只需轻点鼠标，就能免费获得高质量的商品图片、运营文案、主图视频（即将上线）。“京点点”已接入京东核心商家产物，覆盖20多个核心场景， AI 能力单日调用量超 1000 万次，助力35万+京东商家一键天生店铺运营所需的各类商品素材，提高内容制作服从，降低制作本钱。
本文为2024年度总结系列文章，将重点先容“京点点”的技术创新、能力特性与实践结果。欢迎感爱好的朋友进入官网体验：https://ai.jd.com
01
四大核心技术创新，实现高效、智能的多模态内容天生
“京点点” 是一款专为电商人打造的AIGC工具，平台基于多种AI能力改变传统的零售、电商内容生产模式，覆盖图片、文案、视频等，无需专业职员，小白点一点就能天生专业的电商内容素材。
目前，“京点点”已上线了两项AIGC能力：
一是AI商品图天生。用户上传商品普通拍摄图或白底图，系统可主动抠图并联合电商数据推荐符合的场景模板，天生高质量商品场景图，还能AI添加商品核心卖点文案、营销利益点等变为商品主图、商品详情图、商品营销图等素材。
https://i-blog.csdnimg.cn/img_convert/a92dab6c8eb7b3d7b72b33d83e6e67a8.png
二是AI营销文案天生。用户输入京东商品SKU编号或名称，系统能从相关商品中提取卖点信息，按用户需求的文章风格天生营销文案。
https://i-blog.csdnimg.cn/img_convert/5808f400de94bc17f821e70470b64e6b.png
然而，电商领域的AI内容天生往往面临着以下几个方面的技术题目：
（1）数据处理难度大
电商行业涉及海量的商品信息和用户数据，如何有效地网络、整理和分析这些数据，以训练出准确的文生图基底模型，是一个巨大的挑衅。海量的零售图片数据需要进行高效处理和分析，这不但需要强盛的计算能力，还需要先进的数据处理技术和算法，以确保数据的质量和准确性。
（2）图像天生精准控制困难
在电商领域，商品图像的质量和结果直接影响消耗者的购买决策。因此，如何精确控制图像的表面、风格、视角和结构，同时确保商品的同等性，是一个亟待办理的题目。传统的图像天生技术往往难以实现对图像的精细控制，导致天生的图像无法满足电商企业的个性化需求。
（3）营销文案天生的准确性和风格题目
营销文案是电商内容的重要组成部门，它不但需要准确地转达商品的信息和特点，还需要具备吸引消耗者的语言风格。然而，大模型幻觉题目导致营销文案的准确性和语言风格难以满足实际需求，这使得电商用户在营销推广方面面临着一定的困难。
（4）模型优化与适应性
电商市场变化灵敏，消耗者的需求和喜欢也在不断变化。因此，如何根据用户反馈和市场趋势不断优化天生模型，使其更好地适应电贸易务的实际需求，是一个连续的挑衅。传统的模型往往缺乏灵活性和适应性，难以快速相应市场的变化。
为了办理上述题目，“京点点”进行了以下技术创新和实践，致力于为电商行业提供高质量、高服从的内容天生办理方案。
先进的文生图基底，提供更有吸引力的视觉图像
•海量数据训练：“京点点”通过使用海量的零售图片数据训练京东的文生图基底模型。这些数据涵盖了各种商品范例、风格和场景，使模型能够对商品和销售有更深入的明白。为了提高数据处理服从，平台自研了高效海量数据处理平台，能够快速生产和迭代基底训练数据。
•先进技术框架：采用DiT（Diffusion Transformer）框架与Flow Matching技术构建了先进的基底模型，实现了图像天生服从的显著提升。其中，DiT框架作为基于Transformer架构的创新性图像天生方案，通过其自注意力机制和多层感知结构，能够有效捕捉图像的全局特征与局部细节，从而天生具有高度真实感和自然度的图像。Flow Matching技术则创新性地绕过了传统常微分方程（ODE）的求解过程，通过直接优化概率路径的方式实现目标数据分布的推理，确保变换后的概率分布与目标分布达到最优匹配，这不但提升了模型的推理服从，同时显著增强了天生图像的多样性与准确性。基于上述技术优势，"京点点"系统在电商领域的商品主图天生、详情页设计、营销素材制作及广告创意等应用场景中展现出卓越的性能，能够为电商企业提供高质量、高真实度的视觉内容办理方案，有效提升贸易转化率。
Zero-Shot 可控天生框架？自研图像模型，让商品展示结果更逼真
•图像特征同等性注入：自主研发的ReferenceNet网络架构，创新性地实现了图像特征同等性的精准注入。这意味着在不需要大量标注数据的环境下，平台可以以极低的本钱确保商品的同等性。通过 ReferenceNet，平台能够提取商品的关键特征，并将其应用于图像天生过程中，从而包管天生的图像能够准确地反映商品的特点和属性。
•精确图像控制：自研的 ControlNet 可以对图像的表面、风格和结构进行精确控制。与传统的图像控制技术不同，京点点 的 ControlNet 办理了业内 ControlNet 对基础模型的负面影响，在精良控制下不会降低基础模型的天生结果。这使得平台能够根据商品的特征和风格需求，天生高度真实且富有创意的图像，为商品展示提供更加生动、吸引人的视觉结果。
多技术融合创新，产物营销文案更风趣
•多模态商品明白模型：在营销文案天生方面，“京点点”自研了多模态商品明白模型。该模型能够综合分析商品的图像、文字描述、用户评价等多模态信息，构建商品的 FAB（Feature, Advantage, Benefit），即商品卖点文案策略知识库，涵盖了商品的规格参数、优势、用户使用场景等多维度信息，为营销文案的天生提供了丰富的素材和依据。
•RAG 方案与知识融合：平台使用 RAG（Retrieval-Augmented Generation）方案联合商品知识与大语言模型能力，撰写事实准确且语言风格接地气的营销文案。RAG 方案通过在天生过程中引入相关的知识和信息，有效地改善了大模型幻觉题目，提升了营销文案的写作结果。天生的营销文案不但能够准确地转达商品的信息和特点，还能够以生动、风趣的语言风格吸引消耗者的注意力，提高商品的销售转化率。
强化学习与优化，提高内容生产质量
•用户反馈与数据驱动优化：“京点点”引入了强化学习机制，根据用户反馈和京东商品数据，不断优化天生模型的参数和策略。通过网络用户的活动数据、评价数据和购买数据等，平台能够深入了解用户的需求和喜欢，从而针对性地调解天生模型的参数和策略，使天生的内容更加符合用户的期望。
•紧密联合电贸易务：平台与实际电贸易务紧密联合，实时调解天生策略。根据市场趋势、商品销售环境和用户需求的变化，平台能够实时调解内容天生的方向和重点，为电商用户提供更加具有针对性和时效性的内容。比方，在促销活动期间，平台可以天生更多与促销相关的营销文案和图片，以提高活动的结果和影响力。
02
京点点 AIGC 技术应用，成效如何？
目前，“京点点”面向京东商家、京东生态同伴和京东内部员工全量开放，同时能力接入到京东各个核心B端产物中，包罗智能抠图、智能文案、商品场景图/模特图天生、AI搭配购等功能。用户在商品图、商品营销文案等内容制作的服从提升高达95%以上，从原来的天级降低到秒级。本钱由原来单张商品图几十到几百元降低99%以上。
以AI生图为例：
在图片生产人力与时间、生产本钱、生产结果等方面，“京点点”AI生图相较传统人工生产有显著优势。如在家装2D场景图场景中：
AI生图相比传统人工作图具有显著优势。从人力、时间与本钱方面看，传统人工制作家装 2D 场景图往往需要耗费较长时间和费用，需要租用场地、运输大件家居商品、搭建场景、拍摄、后期处理等，往往一组成图的本钱可能耗时一周且高达上万元，而京点点AI生图只需要上传几张商品图（或手机拍摄），无需物理空间和专业设计师，小白即可完成符合质量需求的图片。这进一步减少了对内容生产专业资源的依赖，为家装领域带来了新的可能性。
https://i-blog.csdnimg.cn/img_convert/296813dd99d64c45acd58e35051a0698.png
除了要达到最佳的天生质量，还需要尽可能减少资源投入，实现业务应用的最佳投入产出。“京点点”创新性地采用了大模型加速方案和大小模型联合推理技术算法，针对电商领域的特定需求，显著提升了资源使用服从，相较于传统的单一大模型方案，在内容天生质量结果同等的环境下，资源投入度减少高达90%。
以下是对两种技术方案的具体对比分析：
范例
单一通用大模型方案
京点点方案
模型推理方面
通用大模型方案针对场景更广的零售场景不会做特意的优化，很难做大性能和结果的均衡。
我们基于零售用户信息，分析用户天生商品图片的习惯、品类分布和场景分布，动态调解模型调用策略。通过大小模型联合推理，极大降低了天生本钱；并采用模型加速方案，将推理本钱降低了60%以上。
模型应用方面
缺乏针对性传统模型应用：在应用于电商领域时，可能由于缺乏对电商特定需求的深入明白，导致天生的内容不敷精准和实用，从而多次生产导致资源浪费。
多模态融合的先进性：使用多模态技术，将图像天生、文本天生、数据挖掘等多种智能体有机联合，提升了内容天生的多样性和创意性，满足电商场景下对高质量商品图和营销文案的需求，天生次数从8-10次减少到1-2次即可达到应用结果，降低75%以上。
服务扩展方面
服务扩展的低效性：当某一垂类哀求量激增时，单一大模型需团体扩展服务资源，导致不必要的硬件投入和运维本钱增加，资源使用率低下。
按需扩展的灵活性：针对高哀求量的垂类应用，平台仅需扩展相应智能体的服务资源，制止了团体服务的冗余扩展。这种按需扩展的策略不但提高了资源使用率，通过动态资源调治，减少了GPU的数量，提升了约50%使用率，还降低了运维本钱。
平台建立方面
高本钱传统建立：需要构建庞大的硬件基础设施和复杂的软件架构，导致建立本钱高、维护难度大。
模块化迭代的高效性：将不同功能模块化为独立的智能体，如商品图天生智能体、文案天生智能体等，实现了针对特定场景的轻量化迭代。各智能体可根据实际需求独立更新，无需全局重训练，大幅节约计算资源。
03
结语
“京点点”始终以业务发展为引领，围绕电商行业的需求和趋势，不断探索新的技术应用和业务模式。依托京东丰富的电商数据资源，“京点点”能够为模型训练提供大量的高质量数据。这些数据涵盖了商品信息、用户活动、市场趋势等多个方面，为模型的准确性和泛化能力提供了有力的支持。通过对这些数据的深入分析和挖掘，平台能够更好地明白用户需求和市场动态，从而为电商用户提供更加精准和有效的内容天生服务。
通过“京点点”探索电商领域中 AI 技术与内容生产协同的前沿应用，办理了行业中电商内容天生服从低下、内容生产本钱高、内容生产质量参差不齐的题目，提供了宝贵的实践履历和可复制的模式。未来我们也将在以下几方面继续投入资源打造提升：
天生式技术优化与升级，用户一键出“好”图
“京点点”将继续致力于天生式技术的优化与升级，通过模型改进、服从提升、多模态融合、多智能体协同等技术优化，提升AI天生内容结果的质量、服从，从而天生更加高质量、符合用户需求的内容，从一键出图提升到一键出“好”图。
融入业务数据的AI天生，工具到谋划助手进化
当“京点点”天生内容的质量达到基础要求后，通过融入业务客观的数据反馈，如商品主图分析关注、点击、转化结果好的内容所具有的特征，以此反哺大模型，使其能够进行连续的自学习和训练进化。如许一来，京点点天生的内容就能更好地适应市场需求的变化，能够实时帮助用户调解本身谋划策略，提高市场反应速率，引发创新活力，从而推动用户谋划。
加强与业务的深度融合，拓展更多AI+应用场景
“京点点”团队更加紧密地与业务团队合作，深入了解业务需求，不断优化内容天生策略，以提高商品的销售结果和用户体验。目前，我们已在多个业务领域开展 AI 联合共建，如家装 2D 搭配场景图，通过 AI 技术让用户提前预览家居布置结果；时尚 AI 穿搭，为消耗者提供个性化穿搭发起；京麦商家 AI 提效，助力商家提升发品和运营服从。未来，我们将连续探索 AI 技术的更多应用可能，将其融入更多业务场景，为各业务领域提供更高效、更智能的内容创作办理方案，引发全新的业务增长活力 。
打造更多普适性与可复制性的AI天生技术办理方案
“京点点”采用了电商场景的文生图基底、Zero-Shot 可控天生框架、多智能体协同、强化学习与优化深度整合的技术蹊径，有效克服了通用大模型在特定产业应用中的能力瓶颈，包罗专业领域知识精准度不足、复杂任务处理能力有限，以及单一模型难以实现高效多模态协同等题目。通过模块化设计、可插拔的智能体架构以及灵活的领域知识注入机制，确保了系统在不同电商场景中的高度适应性和可扩展性，将来将打造更多普适性与可复制性AI天生技术办理方案，如AI天生视频、AI天生音频等，为其它行业、京东其它产物在面对类似挑衅时提供系统化的办理方案和可鉴戒的技术框架。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]