ChatGPT 的能力上限将被突破

最近，一篇名为《Scaling Transformr to 1M tokens and beyond with RMT》的论文在 AI 界引起了广泛热议。
该论文提出一种名为 RMT 的新技术，如果可以大概成功应用，那将把 Transformer 的 Token 上限扩展至 100 万，甚至更多。

• GitHub：https://github.com/booydar/t5-experiments/tree/scaling-report
  
• 论文：https://arxiv.org/abs/2304.11062
  

由于许多 AI 模子使用的大部分是非结构化文本，因此需要用某一种特定单位作为文本标记，这些文本在模子中，常用 "Token" 表示。
以 GPT 模子为例，1000 个 Token 约即是 750 个英文单词。
要知道，目前最强的 GPT-4-32k，其 Token 上限也才 3.2 万，也就是说，它一次性最多只能处理 2.4 万个单词，这就导致它无法处理长文内容。
像文档、书籍、代码这种大块内容，已经凌驾了 GPT-4 模子能处理的上限，所以用户往往需要先对内容进行切割，分多次喂给 GPT。
但是，由于 GPT 能明白的上下文内容也有限，便轻易导致结果偏离预期。
如果未来 Token 的上限可以大概不停突破，也就意味着 ChatGPT 可以大概一次性吸收更多消息，更好的明白你的上下文，进而给你提供更多精准的结果。

要是你以为上面这些技术名词还听不大懂，不妨读一下 Twitter 网友 riddhi 让 ChatGPT 做的这个总结，直接普通易懂的解读了这项技术：
   假设你有个很聪明的呆板人朋友，它可以读很多东西并记住它们。这个呆板人朋友使用一种叫做 “Transformer” 的东西来帮助它明白和记忆内容，就像人类大脑一样。
  现在有这么一群聪明人，发现了一种能让你的呆板人朋友变得更好的方法，那就是给它装上一个新大脑，叫做“Recurrent Memory Transformer”，或者简称“RMT”。
  有了这个新大脑，呆板人朋友就可以记住和明白更多的东西，一次多达 2 百万个字！这相当于它可以同时记住大约 20 本很长的书的内容。
  在这之前，其他聪明的呆板人只能记住最多 6.4 万个字，固然这已经很多了，但还远不及 2 百万个字。
  这个发现非常紧张，因为这意味着我们的呆板人朋友现在可以明白和评论更多的事情，为我们提供更多的帮助。
  最棒的是，这种新大脑不会让呆板人变得更重或者耗费更多的能量。所以这就像一台拥有超能力的呆板人朋友，可以做很多厉害的事情而且不会累！
  如果这项技术可以大概成功应用到 GPT-4，那 ChatGPT 的能力上限也将被再次突破。
当这项技术优化到足够好的时候，代码块、文本、聊天记录，都不再需要分多次发送，直接丢一个项目给 ChatGPT，它便能直接上手重构项目代码、自动增长需求。
书籍也不再需要分段切块，传给它一本英文书籍，它便能一字不差的给你翻译成中文，连校对都不需要！
想通过 ChatGPT 来训练一个无限靠近本身品德的 AI 呆板人？
没问题，你把聊天信息、朋友圈动态都导成数据发给它，让它明白吸收，分分钟给你整个虚拟品德出来。

我信任，随着该技术的推进，越来越多的 AI 应用场景将被挖掘出来，各个行业都将被彻底颠覆。
ChatGPT 的能力每天都在进步，全部大语言模子上的技术探索，每增进一步，都能让它发生质的突破。奇点临近，我们距离通用人工智能到来的那一天，也不会太远。
最近看的东西越多，我便越光荣本身可以大概生存在云云一个科技大爆炸时代，科幻片中的情节现在每天都在上演，时时刻刻都能在 AI 界见证那些多不胜数的 "HOLY SHIT" moment。
如果你想相识更多有趣、实用的 AI 技术，以及 ChatGPT 新进展，欢迎点击下方链接，加入我们社群进一步交流探究。
末了：下方这份完备的软件测试视频学习教程已经整理上传完成，朋友们如果需要可以自行免费领取【保证100%免费】

软件测试口试文档

我们学习肯定是为了找到高薪的工作，下面这些口试题是来自阿里、腾讯、字节等一线互联网大厂最新的口试资料，而且有字节大佬给出了权威的解答，刷完这一套口试资料信任各人都能找到满意的工作。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。