论坛 › 人工智能 › 从加载到对话：使用 Llama-cpp-python 当地运行量化 LLM 大模子（GGUF）

光之使者 发表于 2024-10-18 16:29:27

从加载到对话：使用 Llama-cpp-python 当地运行量化 LLM 大模子（GGUF）

（无需显卡）使用 Llama-cpp-python 在当地加载具有 70 亿参数的 LLM 大语言模子，通过这篇文章你将学会用代码创建属于本身的 GPT。
建议阅读完 19a 的「媒介」和「模子下载」部分后再举行本文的阅读。
代码文件下载：Llama-cpp-python |

查看完整版本: 从加载到对话：使用 Llama-cpp-python 当地运行量化 LLM 大模子（GGUF）