过去一年多，RAG（检索加强生成，retrieval augmented generation）正成为大数据与 AI 融合的“新宠”。想象一下，当你用 AI 助手快速总结论文或分析数据时，背后可能已经是 RAG 技术在默默发力。它就像是AI界的瑞士军刀，让大数据和AI的结合不仅仅是潮水，更是效率的革命。
显而易见，随着生成式 AI 如 ChatGPT 的兴起，“大数据 +AI”的热度不停飙升，特别是在 RAG 技术的加持下，它们的结合为企业创造代价的潜力正逐渐被认可。
不外，技术的发展总是伴随着质疑和探索。固然很多人看到这股潮水的迅猛发展，但也难免心生疑惑和不安：大数据和 AI 的融合到底是不是又一轮泡沫？它所谓的代价是什么？详细要怎样才气借助 AI 与大数据来提拔竞争力？RAG 为什么这么火爆？
带着这些疑问，日前相关从业职员围绕“大数据 +AI”的真实代价、RAG 技术如何从这海潮中突围展开讨论。
一，Data 加 AI 真有代价？
固然大模子和AI抢尽风头，但别忘了，大数据才是幕后英雄。它就像是AI的健身房，提供了锻炼智能肌肉所需的一切。没有大数据，AI就像是没有食谱的厨师，空有一身本领却无处施展。对于屏幕前的你来说，当在电脑端想要搜刮一些知识点或寻找答案时，你是会选择传统搜刮引擎，还是像 ChatGPT 这样的 AI 平台？同样地，当你盼望能快速相识一篇论文的要点时，会不会直接让大模子帮你做个总结？
从 C 端用户的反馈来看，通用大模子无疑已经逐渐渗透进一样寻常工作，特别是在那些比较简单、重复性的使命上，AI 的效率优势显而易见。
不外，这只是 AI 大模子的此中一面。在企业级应用、专业性更强的 B 端场景下，大模子是否同样带来效率提拔呢？
部门研究职员倾向于以为答案是正面的。尤其是在 RAG 技术的推动下。RAG 正在成为数据 +AI 的主流应用方案。根据 InfoQ 的统计，RAG 技术在今年的多场技术大会上成为了焦点之一。而且从 arXiv 上与 RAG 相关的文章数量来看，年初时还比较少，而到了年中，相关研究已经出现显著增长，几乎每天都有新论文发表。这说明，RAG 技术的受欢迎水平在工业界、财产界和学术界正逐渐成为共识。
如今，大模子技术，尤其是结合 RAG 解决“幻觉”、私域数据使用等问题，便可以有用提拔这些数据的应用，解决企业在生产和服务中的实际问题。
二、为什么大数据“不敷火”？
大模子很火、AI 很火、RAG 也很火，但大数据技术自己却好像没有那么火。
“大数据依然非常重要，只是目前它被大模子的光环所遮盖。”相关从业职员表示，固然 C 端用户更关注体验和产物，但要构建一个好的大模子，算力、算法和数据依然是三大要素，而数据的网络、处置惩罚和清洗还是关键，很多公开的大模子没有对外披露如何处置惩罚数据，这部门的工作往往被忽视。
从企业和市场的角度来看，业界常讨论的“AI for data”或者“data for AI”，也不会是一个“谁主导谁”的问题。数据和 AI 是相辅相成的。大模子的性能不仅依赖于 AI 的算法和算力，要产生好的 AI 模子，首先还是需要大量且高质量的清洗数据。有时间，一些较小的模子，只管参数规模不如大的模子，但由于数据质量高，表现反而更好。
同时，AI 的发展对大数据技术提出了新的要求，特别是在云原生和弹性计算方面。以大模子练习为例，正常环境下只需几百核的算力，但在处置惩罚大规模数据时可能需要扩展到几万核，对大数据系统的弹性本领提出了非常高的要求。此外，随着数据量的增长，低落成本和提拔存储性能也是大数据领域未来发展的焦点。
总之，大数据从未远离，它始终是 AI 背后不可或缺的支撑。无论是过去、当下，还是未来，数据的管理和应用仍然是焦点。
三、为什么数据质量很重要？
在AI的世界里，数据就像是食材。质量越高，做出来的菜越美味。清洗数据就像是挑选新鲜食材，固然辛苦，但为了那一口美味，值得！大模子本质上是通过数据练习出来的网络，网络中的权重反映了数据的知识布局。因此，大模子自己就代表了数据与 AI 的融合。要练习出一个好的大模子，数据的质量至关重要。通常需要先网络大量数据，可能到达几十个 PB，但经过清洗和去重处置惩罚后，实际用于练习的数据可能只有几个 T。而这个过程非常关键，由于数据量越大，对算力的需求就越高，数据清洗则可以低落计算资源的斲丧。
从技术流程来看，数据从网络、清洗到用于模子练习的每一步，都离不开大数据系统。腾讯云提供了从数据的网络、处置惩罚、开辟到练习的全流程支持，确保数据与 AI 深度融合。通过这套方案，开辟者和企业可以更便捷地练习出他们所需的模子。
而从另一角度看，模子练习完成后，AI 反过来也能帮助优化大数据分析。黄世飞表示，过去，他们需要依赖经验去诊断大数据系统中的问题，但如今，AI 可以通过分析日志和诊断信息来辅助判断。从前可能使用规则引擎，本日大模子让 AI 能够更机动地处置惩罚大数据的复杂问题。
实际上，不管是制造业还是其他行业，AI 的应用都依赖于数据平台。比如，生产中的每一条数据都可以视为一个标签，通过 AI 发掘这些标签与其他数据的关系，就能生成可操作的商业洞察。无论是 AIOps、BusinessOps，还是制造业中的生产优化，AI 都能通过数据分析帮助企业提拔效率和决策本领。同时，AI 还可以处置惩罚复杂的操作流程和知识管理。过去，工业领域的操作职员需要依赖手册查找机器操作步调。如今，通过大模子，AI 可以有逻辑地给出精准的操作指令，减轻操作职员的负担。
此外，数据平台的焦点在于如何高效导入、处置惩罚和展示数据，而 AI 也能够显著提拔这一过程的效率。过去，理清某个数据字段的血缘关系是一项复杂的使命，而如今 AI 可以迅速梳理出数据的来源与关系，提拔开辟效率。此外，AI 还能帮助主动检测代码错误，大幅进步开辟者的生产力。
未来，数据平台中很可能会引入 AI 助手，进一步辅助开辟者完成数据分析、优化数据处置惩罚流程，这将是 AI 赋能数据平台的一个重要发展方向。
传统企业的数字化转型很大水平上取决于文化的变革。如果公司能够将 IT 视为焦点资产而非单纯的成本，就能更好地应用数据和 AI 技术，提拔整体的业务竞争力。
随着 AI 和数据技术的深度融合，开始出现这样的声音：是否会有一个工具能够逾越 Excel，成为数据分析的“新王者”？腾讯云负责人黄世飞以为，这是完全有可能的。不可否认，Excel 是一款非常强盛的工具，几乎可以处置惩罚各种类型的报表和分析使命。但是，它的操作门槛较高，用户需要对各种函数有深入的相识，才气真正发挥它的全部功能。对于许多非技术用户来说，这是一个巨大的停滞。“未来的 AI 可能会通过简化这些复杂的操作过程，让数据分析变得更加简单直观。”他表示，AI 可以通过主动化生身分析过程来帮助用户。用户只需要提出他们想要的结果，AI 就能根据需求选择符合的函数和方法来完成使命。这样的工具将不再依赖用户的专业知识，而是通过 AI 的智能支持，极大低落了使用门槛。
除了操作门槛，Excel 的另一个范围性在于它的性能限制。随着数据量的增长，Excel 在处置惩罚大型文件时往往会变得非常慢，乃至会导致文件崩溃。而如今，数据量的爆炸式增长已成常态，几百兆乃至上 GB 级别的文件已经不足为奇。
云计算有望解决这个问题。云上有强盛的存储和计算本领，处置惩罚几百 G 乃至 TB 级别的数据都不在话下。如果未来能开辟出类似“云 Excel”的应用，将数据存储在云端，并通过云计算来处置惩罚，那就能够冲破当前 Excel 的数据量限制。
因此，未来的应用可能通过两个关键途径逾越 Excel：一是通过 AI 简化数据分析的过程，让用户不再需要熟练掌握复杂的函数和操作；二是通过云计算扩大数据存储与处置惩罚的本领，冲破当前 Excel 在数据量和性能上的限制。随着数据量的连续增长，未来对这种工具的需求也会越来越强烈。
四、为什么是 RAG ？
AI有时间也会“撒谎”，这就是所谓的“幻觉”问题。大模子的“幻觉”问题，指的是在复杂逻辑推理中，模子生成的结果可能与真实环境不符。而 RAG 的引入，成为当下解决这一问题的重要技术方案。但别担心，RAG技术就像是AI的“真相血清”，确保AI给出的答案是真实可靠的。它不仅解决了问题，还能快速更新知识库，让AI始终保持最新状态。
解决这些问题的过程实际上涉及数据的向量化。向量化自己是一个复杂的过程，需要将数据转化为向量形式。差别场景对向量化的需求差别，因此作为技术服务商也需要支持更多样化的 embedding 技术，才气更好地应对多样化的场景需求。
大模子有时间无法控制返回的答案，由于它太智能了。这时间，RAG 可以帮助他们构建自己的私有知识库，确保大模子生成的答案符合企业需求。固然，有人可能觉得这是对大模子的限制，但对于企业应用来说，创建一个安全、可靠的知识库是至关重要的。通过 RAG 技术，可以帮助客户将他们的知识库构建在 ELK 系统中，确保了数据安全和答案的正确性。
过去，生成报表和举行复杂数据分析往往需要专业的技术本领。而如今，AI 与数据的结合让用户可以通过自然语言完成数据分析，大大低落了数据分析的门槛，尤其是对非技术背景的用户而言，这无疑是一种便利。但AI 大模子的普及是否能真正低落数据分析的门槛？RAG 技术的确已经讨论了一段时间，随着大模子的普及，RAG 的应用越来越广泛。尤其是在使用 AI 举行数据检索和生成时，RAG 提供了极大的便利。不外，高昂的专业服务费用还是一大痛点，许多客户都提到这是他们面临的挑战之一。如果大模子技术能够进一步普及，而且低落使用成本，接下来就会有更多非专业用户能更轻易地使用这些技术，而不仅仅范围于专业人士。
五、数据分析市场在本土和海外有何差别
国内市场的数据分析就像是快餐，追求的是快速、实惠、立等可取。而海外市场则更像是高级餐厅，他们喜好逐步来，通过文档和API自己烹调。这说明，差别的市场有差别的口味，而一个好的服务商需要成为全能的厨师。
在国内市场，企业在选择数据分析产物时，最关注的往往是成本和投资回报率。许多企业会优先考虑自建系统，如果外部产物的成本高于自建，他们可能会选择放弃购买外部产物。因此，确保产物的成本优势，是很多服务商设计产物的主要使命。
此外，国内企业客户对服务的即时性有着很高的要求。他们风俗于通过即时通讯工具得到服务支持，并期望碰到问题时能够迅速得到回应。相比之下，海外客户则更风俗于通过提交工单或邮件的方式得到支持，也更风俗通过阅读详细的文档来解决问题，如果文档解决不了，才会进一步寻求支持，以是文档的完善、本地化和英文化也很重要。
同时，由于海外市场的企业代码本领很强，他们更倾向于通过 API 将外部服务集成到自建平台中，而不是依赖官方的控制台，因此产物模块要充足机动，才可以通过 API 举行高效对接。
六、大数据 +AI 期间，人才何去何从
“大数据 + AI” 快速发展，企业面临着技术变革带来的挑战，员工的职业发展也因此充满了更多的不确定性和机遇。如安在大数据和 AI 期间下，捉住时机提拔自我，是许多职场人关心的话题。
然而，不安定的环境往往是学习新技能的最佳机遇。在技术变革下，最重要的是敢于走出舒服区，主动学习那些你尚未掌握的技能。无论是 IT 技术还是其他领域，个人和公司的成长都发生在不安稳的状态下。因此，面临大数据和 AI 技术的不停进步，不关键怕新技术，反而要主动去掌握它们。而且不要等别人先尝试，要成为第一个举措的人，“to be the leader，not the follower。”
关于大数据和 AI 技术对人才培养的实际影响。本日的学习门槛相比以往已经大大低落。过去可能需要花很多时间买书、看视频，而如今，AI 技术自己就能帮助我们更有用地获取知识。例如，大模子可以快速搜刮文献、资料，极大地提拔了学习效率。因此，学习条件的提拔意味着我们更有时机掌握新的技能，关键在于是否乐意付出时间和精力。在大数据和AI的舞池里，唯一稳定的就是变革。这是一个学习新舞步的绝佳机遇，大胆地走出舒服区，去学习那些让你心跳加速的新技能，创造没有的可能。
版权声明：除原创作品外，本平台所使用的文章、图片、视频及音乐属于原权利人所有，因客观原因或会存在不当使用的环境，如，部门文章或文章部门引用内容未能及时与原作者取得联系，或作者名称及原始出处标注错误等环境，非恶意侵犯原权利人相关权益，敬请相关权利人体谅并与我们联系。
更多AI知识可以关注我们，也欢迎关注公主号“顺网智算”
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
