IT评测·应用市场-qidao123.com

标题: 一文速通Python并行计算:01 Python多线程编程-基本概念、切换流程、GIL锁机制和生产者与消耗者模子 [打印本页]

作者: 泉缘泉    时间: 2025-3-23 23:30
标题: 一文速通Python并行计算:01 Python多线程编程-基本概念、切换流程、GIL锁机制和生产者与消耗者模子
一文速通 Python 并行计算:01 Python 多线程编程-基本概念、切换流程、GIL 锁机制和生产者与消耗者模子


摘要:

多线程允许步调同时实行多个任务,提拔服从和相应性。线程分为新建、就绪、运行、阻塞和死亡五种状态。Python的GIL锁限定多线程并行实行,适合I/O麋集型任务。生产者-消耗者模子通过共享缓冲区和条件变量实现线程协作,解决数据共享题目。

关于我们更多介绍可以查看云文档:Freak 嵌入式工作室云文档,或者访问我们的 wiki:https://github.com/leezisheng/Doc/wik
原文链接:

FreakStudio的博客
往期保举:

学嵌入式的你,还不碰面向对象??!
全网最适合入门的面向对象编程教程:00 面向对象计划方法导论
全网最适合入门的面向对象编程教程:01 面向对象编程的基本概念
全网最适合入门的面向对象编程教程:02 类和对象的 Python 实现-利用 Python 创建类
全网最适合入门的面向对象编程教程:03 类和对象的 Python 实现-为自定义类添加属性
全网最适合入门的面向对象编程教程:04 类和对象的Python实现-为自定义类添加方法
全网最适合入门的面向对象编程教程:05 类和对象的Python实现-PyCharm代码标签
全网最适合入门的面向对象编程教程:06 类和对象的Python实现-自定义类的数据封装
全网最适合入门的面向对象编程教程:07 类和对象的Python实现-类型注解
全网最适合入门的面向对象编程教程:08 类和对象的Python实现-@property装饰器
全网最适合入门的面向对象编程教程:09 类和对象的Python实现-类之间的关系
全网最适合入门的面向对象编程教程:10 类和对象的Python实现-类的继承和里氏更换原则
全网最适合入门的面向对象编程教程:11 类和对象的Python实现-子类调用父类方法
全网最适合入门的面向对象编程教程:12 类和对象的Python实现-Python利用logging模块输出步调运行日志
全网最适合入门的面向对象编程教程:13 类和对象的Python实现-可视化阅读代码神器Sourcetrail的安装利用
全网最适合入门的面向对象编程教程:全网最适合入门的面向对象编程教程:14 类和对象的Python实现-类的静态方法和类方法
全网最适合入门的面向对象编程教程:15 类和对象的 Python 实现-__slots__魔法方法
全网最适合入门的面向对象编程教程:16 类和对象的Python实现-多态、方法重写与开闭原则
全网最适合入门的面向对象编程教程:17 类和对象的Python实现-鸭子类型与“file-like object“
全网最适合入门的面向对象编程教程:18 类和对象的Python实现-多重继承与PyQtGraph串口数据绘制曲线图
全网最适合入门的面向对象编程教程:19 类和对象的 Python 实现-利用 PyCharm 自动生成文件注释和函数注释
全网最适合入门的面向对象编程教程:20 类和对象的Python实现-组合关系的实现与CSV文件保存
全网最适合入门的面向对象编程教程:21 类和对象的Python实现-多文件的组织:模块module和包package
全网最适合入门的面向对象编程教程:22 类和对象的Python实现-异常和语法错误
全网最适合入门的面向对象编程教程:23 类和对象的Python实现-抛出异常
全网最适合入门的面向对象编程教程:24 类和对象的Python实现-异常的捕获与处置惩罚
全网最适合入门的面向对象编程教程:25 类和对象的Python实现-Python判断输入数据类型
全网最适合入门的面向对象编程教程:26 类和对象的Python实现-上下文管理器和with语句
全网最适合入门的面向对象编程教程:27 类和对象的Python实现-Python中异常层级与自定义异常类的实现
全网最适合入门的面向对象编程教程:28 类和对象的Python实现-Python编程原则、哲学和规范大汇总
全网最适合入门的面向对象编程教程:29 类和对象的Python实现-断言与防御性编程和help函数的利用
全网最适合入门的面向对象编程教程:30 Python的内置数据类型-object根类
全网最适合入门的面向对象编程教程:31 Python的内置数据类型-对象Object和类型Type
全网最适合入门的面向对象编程教程:32 Python的内置数据类型-类Class和实例Instance
全网最适合入门的面向对象编程教程:33 Python的内置数据类型-对象Object和类型Type的关系
全网最适合入门的面向对象编程教程:34 Python的内置数据类型-Python常用复合数据类型:元组和定名元组
全网最适合入门的面向对象编程教程:35 Python的内置数据类型-文档字符串和__doc__属性
全网最适合入门的面向对象编程教程:36 Python的内置数据类型-字典
全网最适合入门的面向对象编程教程:37 Python常用复合数据类型-列表和列表推导式
全网最适合入门的面向对象编程教程:38 Python常用复合数据类型-利用列表实现堆栈、队列和双端队列
全网最适合入门的面向对象编程教程:39 Python常用复合数据类型-聚集
全网最适合入门的面向对象编程教程:40 Python常用复合数据类型-枚举和enum模块的利用
全网最适合入门的面向对象编程教程:41 Python常用复合数据类型-队列(FIFO、LIFO、优先级队列、双端队列和环形队列)
全网最适合入门的面向对象编程教程:42 Python常用复合数据类型-collections容器数据类型
全网最适合入门的面向对象编程教程:43 Python常用复合数据类型-扩展内置数据类型
全网最适合入门的面向对象编程教程:44 Python内置函数与魔法方法-重写内置类型的魔法方法
全网最适合入门的面向对象编程教程:45 Python实现常见数据布局-链表、树、哈希表、图和堆
全网最适合入门的面向对象编程教程:46 Python函数方法与接口-函数与事故驱动框架
全网最适合入门的面向对象编程教程:47 Python函数方法与接口-回调函数Callback
全网最适合入门的面向对象编程教程:48 Python函数方法与接口-位置参数、默认参数、可变参数和关键字参数
全网最适合入门的面向对象编程教程:49 Python函数方法与接口-函数与方法的区别和lamda匿名函数
全网最适合入门的面向对象编程教程:50 Python函数方法与接口-接口和抽象基类
全网最适合入门的面向对象编程教程:51 Python函数方法与接口-利用Zope实现接口
全网最适合入门的面向对象编程教程:52 Python函数方法与接口-Protocol协议与接口
全网最适合入门的面向对象编程教程:53 Python字符串与序列化-字符串与字符编码
全网最适合入门的面向对象编程教程:54 Python字符串与序列化-字符串格式化与format方法
全网最适合入门的面向对象编程教程:55 Python字符串与序列化-字节序列类型和可变字节字符串
全网最适合入门的面向对象编程教程:56 Python字符串与序列化-正则表达式和re模块应用
全网最适合入门的面向对象编程教程:57 Python字符串与序列化-序列化与反序列化
全网最适合入门的面向对象编程教程:58 Python字符串与序列化-序列化Web对象的定义与实现
全网最适合入门的面向对象编程教程:59 Python并行与并发-并行与并发和线程与进程
一文速通Python并行计算:00 并行计算的基本概念
更多精彩内容可看:

给你的 Python 加加速:一文速通 Python 并行计算
一文搞懂 CM3 单片机调试原理
肝了半个月,嵌入式技能栈大汇总出炉
电子计算机类角逐的“武林秘籍”
一个MicroPython的开源项目集锦:awesome-micropython,包含各个方面的Micropython工具库
Avnet ZUBoard 1CG开辟板—深度学习新选择
工程师不要迷信开源代码,还要注重基本功
什么?配色个性化的电机驱动模块?!!
什么?XIAO主控新出三款扩展板!
手把手教你实现Arduino发布第三方库
万字长文手把手教你实现MicroPython/Python发布第三方库
文档获取:

可访问如下链接进行对文档下载:
https://github.com/leezisheng/Doc
该文档是一份关于 并行计算Python 并发编程 的学习指南,内容涵盖了并行计算的基本概念、Python 多线程编程、多进程编程以及协程编程的核心知识点:

正文

1.多线程的基本概念

多线程雷同于同时实行多个不同步调,多线程运行有如下优点:
(1)利用线程可以把占据长时间的步调中的任务放到背景去处置惩罚;
(2)用户界面可以更加吸引人,这样比如用户点击了一个按钮去触发某些事故的处置惩罚,可以弹出一个进度条来表现处置惩罚的进度;
(3)步调的运行速度大概加快
在一些等待的任务实现上如用户输入、文件读写和网络收发数据等,线程就比较有效了。在这种情况下我们可以开释一些珍贵的资源如内存占用等等。
线程在实行过程中与进程还是有区别的。每个独立的进程有一个步调运行的入口、顺序实行序列和步调的出口。但是线程不可以或许独立实行,必须依存在应用步调中,由应用步调提供多个线程实行控制

2.Python 中的多线程

2.1 基本概念

线程,有时被称为轻量进程,是步调实行流的最小单元。一个标准的线程由线程 ID,当前指令指针(PC),寄存器聚集和堆栈组成。线程是进程中的一个实体,是被系统独立调度和分派的基本单元,线程不拥有私有的系统资源,但它可与同属一个进程的别的线程共享进程所拥有的全部资源。一个线程可以创建和撤消另一个线程,同一进程中的多个线程之间可以并发实行。
线程是步调中一个单一的顺序控制流程。进程内有一个相对独立的、可调度的实行单元,是系统独立调度和分派 CPU 的基本单元指令运行时的步调的调度单元。在单个步调中同时运行多个线程完成不同的工作,称为多线程。Python 多线程用于 I/O 操作麋集型的任务,如 SocketServer 网络并发,网络爬虫。
2.2 线程的不同状态和切换流程

步调中包含多个线程时,CPU 不是一直被特定的线程霸占,而是轮流实行各个线程。那么,CPU 在轮换实行线程的过程中,即从创建到消亡的整个过程,大概会历经 5 种状态,分别是新建、就绪、运行、阻塞和死亡。

除此之外,如果处于运行状态的线程发生如下几种情况,也将会由运行状态转到阻塞状态:
以上 4 种大概发生线程阻塞的情况,解决措施分别如下:
对于处于死亡状态的线程,有以下 2 点需要注意:
2.3 Pythn 中的 GIL 锁机制

GIL,全称是 Global Interpreter Lock,也叫做全局解释器锁。对于 CPython,所有的 Python 线程都需要在解释器这个假造机中运行,而在运行之前都要先获取 GIL 这个锁,然后每实行 100 个字节码,解释器就自动开释 GIL 锁,让别的线程有机会实行。因此即使你有多个 CPU 核,多个线程在同一个 Python 假造机中也应该是交替实行的。
这就意味着:同一时间,只能有一个线程在实行的状态。GIL 对单线程步调没有影响,但会成为 CPU 麋集和多线程代码的性能瓶颈。即使在多线程布局的代码中,在同一时刻 GIL 也只允许一个线程在实行状态,因此,GIL 成为了 Python 不受欢迎的一个特性。
CPU 麋集型步调是指步调运行过程中 CPU 是性能瓶颈,该类步调会涉及大量数学计算,例如矩阵乘法/搜索/图像处置惩罚等。I/O 麋集型步调是指步调耗费了大部分时间来等待 I/O 事故,I/O 事故大概来自用户/文件/数据库/网络等。在从数据源获取到文件之前,I/O 麋集型步调需要等待大量的时间;因为在 I/O 事故就绪前,数据源需要进行自己的处置惩罚过程。例如:用户耗费时间思考向输入提示符输入什么内容(会占用时间),或者数据库在接收到检索哀求后运行自己的步调(会占用时间)。
解决 GIL 的方法包括利用多进程、利用其他 Python 解释器或利用 C 扩展模块等。
2.4 生产者-消耗者模子

生产者-消耗者模式是一种经典的多线程计划模式,用于解决多个线程之间的数据共享和协作题目。在生产者-消耗者模式中,有两类线程:生产者线程和消耗者线程。它们之间通过共享一个缓冲区(或队列)来协作,生产者将数据放入缓冲区,消耗者从缓冲区取出数据并进行处置惩罚。
生产者-消耗者模式包括以下几个基本要素:
下一节中,我们将通过生产者-消耗者模子讲解 Python 多线程中的各个概念和应用方法。

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。




欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/) Powered by Discuz! X3.4