本文参考链接如下：
transformers源码阅读——vscode调试llama模型代码
1. 调试文件
因为只是搞清楚数据的流向，以是不需要下载任何预训练的参数
- from transformers.models.llama import LlamaModel,LlamaConfig
- import torch
- def run_llama():
- # part 1 模型初始化
- llamaconfig = LlamaConfig(vocab_size=32000,
- hidden_size=4096//2,
- intermediate_size=11008//2,
- num_hidden_layers=32//2,
- num_attention_heads=32//2,
- max_position_embeddings=2048//2)
-
- llamamodel = LlamaModel(config = llamaconfig)
- # part 2 构建输入数据，在正向传播过程中，只需要传一个inputs_ids，batchsize是4，序列长度是30，每个元素是一个（0，llamaconfig.vocab_size）的随机整数
- inputs_ids = torch.randint(
- low=0,
- high=llamaconfig.vocab_size,
- size=(4,30))
-
- # part 3
- res = llamamodel(inputs_ids)##前向计算，等价于llamamodel.forward(inputs_ids)
- print(res)
- if __name__ == "__main__":
- run_llama()
2.1 设置调试设置文件
点击左侧边栏的运行和调试按钮：
然后点击创建launch.json文件
然后会出现 python文件调试当前正在运行的python文件：
然后就新建了一个launch.json调试设置文件
其中"justMyCode"表现是一个否只调试当前的文件，如果是true，就没法进入transformers的代码了,以是如果想调试进入transformers的代码，就把这个属性设置为false
2.2 设置断点
先看看怎么前向盘算的。按住ctrl键，点击LlamaModel进入LlamaModel界说的源码
但是LlamaModel界说的源码很多，可以通过资源管理器的大纲标签查看LlamaModel源码文件的代码布局：
为了快速抓住重点，在LlamaAttention的forward方法打断点:
调试窗口的断点标签可以找到这个断点，直接点击可以直接定位到断点的位置。
打开要调试的代码文件，然后点击调试窗口的调试按钮
然后步伐运行，在断点处停止运行。可以看到出现了调试按钮组件
在VSCode调试过程中，各操纵按钮的功能如下：
- 继续（Continue）
• 图标：通常为▶️（播放按钮）。
• 功能：从当前停息的位置继续执行步伐，直到遇到下一个断点或步伐自然结束。
• 使用场景：当检查完当前状态的变量或逻辑后，希望步伐继续运行而非逐行调试。
- 逐过程（Step Over）
• 图标：通常为⏭️（向右箭头跨越圆点）。
• 功能：执行当前行的代码，不进入函数内部。若当前行包罗函数调用，会直接执行完该函数，并停在下一行。
• 示例：在foo();这一行使用“逐过程”，会直接执行foo()函数全部代码，停在foo();的下一行。
- 单步调试（Step Into）
• 图标：通常为⏬（向下箭头进入函数）。
• 功能：进入当前行代码中的函数调用内部，逐行调试函数内的逻辑。
• 示例：在foo();这一行使用“单步调试”，会跳转到foo()函数的界说处，开始逐行执行函数内的代码。
- 单步跳出（Step Out）
• 图标：通常为⏫（向上箭头跳出函数）。
• 功能：执行完当前函数的剩余代码，返回到调用此函数的位置。
• 使用场景：在函数内部调试时，若希望快速执行完当前函数并回到调用处。
- 重启（Restart）
• 图标：通常为
|
