【码银送书第十三期】《ChatGPT原理与架构》
OpenAI 在 2022 年 11 月推出了人工智能谈天应用—ChatGPT。它具有广泛的应用场景，在多项专业和学术基准测试中体现出的智力程度，不但靠近乃至有时逾越了人类的平均程度。这使得 ChatGPT 在推出之初就受到广大用户的接待，被科技界誉为人工智能范畴的新里程碑。人们在为天生式人工智能所带来的多模态内容创作服从的提升而欢呼时，常常低估ChatGPT的推理本领。这种本领使ChatGPT不但能作为新一代人机交互的焦点，还能作为智能代理来构建自动化和半自动化的工作流程，乃至使它能与工业控制或机器人范畴相结合，引发深刻的社会厘革。
很多人低估了这种厘革的影响力。以当前研发和贸易应用的迭代速度来看，预计在将来三至五年内，这种厘革将逐渐渗出到人类生活和生产的各个方面，极大地提升现有的生产力。若要追溯上一个被称为“巨大技术厘革”的时代，很多人都会毫不夷由地说是互联网开创期。这次厘革也将重塑内容生产相关的贸易模式，改变现有的工作方式，乃至推动生产方式的厘革。当然，这还需要依赖下一代大语言模型在内容输出的可控性方面的突破。
https://img-blog.csdnimg.cn/img_convert/e84046f81400378217422f708bdb8d3f.png
ChatGPT原理与架构：
大模型的预训练、迁移和中央件编程
程戈 著
大模型范畴技术专家和布道者实践经验总结
阿里、Google等企业多位大模型技术专家联袂保举
内容简介
这是一本深入论述ChatGPT等大模型的工作原理、运行机制、架构设计和底层技术，以及预训练、迁移、微调和中央件编程的著作。它将资助我们从理论角度全面理解大模型，从实践角度更好地应用大模型，是作者乐成训练并部署大模型的过程复盘和经验总结。
第1章介绍了ChatGPT等大模型的发展历程、技术演化和技术栈等底子知识；
第2~5章深入讲解了Transformer的架构原理，并从GPT-1的天生式预训练到GPT-3的稀疏注意力机制详细描述了GPT系列的架构演进；
第6~8章从底层技术实现的角度讲解了大模型的训练计谋、数据处理方法，以及如何利用计谋优化和人类反馈来进一步提升模型的体现；
第9~10章起首详细讲解了大模型在垂直范畴的低算力迁移方法，并给出了医疗和司法范畴的迁移案例，然后讲解了大模型的中央件编程；
第11章对GPT的将来发展趋势进行猜测，探究数据资源、自回归模型的局限性，以及大模型时代具身智能的可行门路。
作者简介
程戈
博士生导师，湘潭大学计算机学院·网络空间安全学院教授，湘潭大学技术转移中央副主任，湘潭市京东智能都会与大数据研究院副院长，聪明司法与数字治理湖南省重点实验室副主任，CCF计算法学会执委。
大模型范畴技术专家和布道者，作为两项科技部国家重点研发子课题的负责人，与成都数之联等多家企业合作推动人工智能在司法范畴的落地，带领团队开发了JusticeGPT司法大模型，不同于其他的以提升司法范畴知识问答本领为焦点的司法大模型，该大模型致力于提升司法文献检索增强天生以及司法文档的多跳信息聚合本领，并通过特定的多使命表征与控制指令天生框架重构司法信息化体系的业务中台，实现司法业务编排以及工作流自动化。
一连创业者，先后创立湘潭安道致胜信息科技有限公司等多家企业，曾经作为共同创始人加盟美国WiFi Free llc. ，开发了WiFi Free、WiFi Analyzer?等项目，其中WiFi Free在2014到2015年是Google Play市场相关WiFi分享类应用下载的前三名。作为技术顾问，先后服务于北京捷通华声等多家企业，提供知识表示学习的技术解决方案，为某知名私募开发了基于深度学习的股票趋势猜测体系，成为该私募公司的重要量化工具。
专家保举
作者结合科研和实践经验，用朴实无华的语言，扎实、严谨地分析了ChatGPT的技术原理和大模型的关键技术。全书内容丰富翔实，图文并茂，任何想要真正理解ChatGPT的读者，都会从本书中获益匪浅，深刻领会这项里程碑式的技术结果。
—— 陈峰 北京滴普科技有限公司合资人&《ClickHouse性能之巅》作者
创业不易，比较幸运的是，我在北大做研究时，和团队一起乐成地开发了ChatLaw——国内首个在法律范畴应用的大模型。本书的作者和团队也乐成训练出法律行业的大模型，这本书分享了他们的乐成经验。如果你对雷同ChatGPT大模型的训练感兴趣，那么本书将是你不容错过的力作。
—— 崔家熙 ChatLaw
本书不但能让你站在巨人的肩膀上俯瞰大语言模型的全貌，还带领你深入洞察其背后的原理与架构设计。不但是一本理论与实践并重的参考书，更是一部引领人工智能范畴创新发展的启示录。它将为你揭示大语言模型如何改变我们的生活，并展示如何在这一范畴发掘无限大概。
—— 黄剑 Google工程师/抖音“剑哥聊技术”博主（仅代表个人观点，与任何公司无关）
本书体系地分析了支持ChatGPT的关键技术，包括Transformer模型、注意力机制、天生式预训练等理论底子，以及模型优化、低算力部署、人机交互等关键问题。全书内容丰富翔实，图文并茂，任何想要真正理解ChatGPT的读者都能从中获益。作者结合科研和实践经验，用平实的语言娓娓道来，让这个高深的主题变得触手可及。
—— 刘聪 南京云问科技首席算法架构师/知乎博主：@刘聪NLP/《ChatGPT原理与实践》作者
这是一本细致入微地分析ChatGPT内在技术原理的佳作。内容严谨，布局清晰，层层深入地分析了大语言模型背后的关键技术，如Transformer、注意力机制、天生式预训练等。这是一本质量上乘的技术专著，它不但体系全面，而且深入浅出，将ChatGPT这一复杂体系娓娓道来，让读者获益匪浅。
—— 刘树春 阿里巴巴高级算法专家
对于任何渴望深入了解大语言模型的人来说，本书是一本无价之宝。它是进入大语言模型训练和微调世界的敲门砖，同时也是您在人工智能范畴取得成就的助推器。通过本书，您将掌握大语言模型的工作原理、技术挑战与发展趋势，从而为自己在人工智能时代的角色定位提供有力支持。
—— 占冰强 AIGCLINK发起人/行行AI合资人
读者对象
[*] 人工智能范畴的产品司理。对于渴望在自家产品中引入AI功能的产品司理来说，了解ChatGPT等大语言模型的根本原理和运行机制是至关告急的。从本书中，他们可以学习大语言模型的设计思想、构造方式，以及如何将这些模型整合到产品中去。他们也可以借此更好地理解产品的性能瓶颈，从而进行更为精确的产品规划。
[*] 人工智能相关专业的研究职员。AI研究者可以将本书作为一本深入了解大语言模型的教科书。无论是Transformer模型的细节，还是GPT模型训练和优化的本领，书中都进行了详细的介绍。更告急的是，书中还探究了一些最前沿的研究范畴，比如人类反馈强化学习、指令自举标注算法等。
[*] 大规模数据处理和分析的工程师。对于面临如何高效处理大规模数据、如何构建分布式训练架构等问题的工程师来说，本书可以提供很多宝贵的发起和思路。例如，第6章对数据处理和分布式训练模式进行了深入的讨论。
[*] AI技术的爱好者和使用者。如果你是一个AI技术的爱好者，大概是一个善于运用技术改善生活的人，本书同样恰当你。书中对大语言模型的介绍通俗易懂，可以让你对这个强大的技术有个全面的了解。别的，书中还提供了很多实用的使用本领和案例，可以将它们直策应用到你的生活或工作中去。
直播预告
3月7日周四19：00，大模型范畴技术专家，湖南国家应用数学中央副主任，湘潭市京东智能都会与大数据研究院副院长，湘潭大学计算机学院.网络空间学院教授 程戈老师与您分享“世界模型改变世界：从GPT到Sora”，点击预约观看！
将在03月07日 19:00 直播
https://img-blog.csdnimg.cn/direct/7e984c0de8cc4f1fae689fe61c0376c5.jpeg
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]