ToB企服应用市场:ToB评测及商务社交产业平台

标题: Python311新特性-特化指令specializing adaptive interpreter-typing-async [打印本页]
作者: 去皮卡多    时间: 2024-11-3 09:51
标题: Python311新特性-特化指令specializing adaptive interpreter-typing-async
Python3新特性

python3.11增加了许多特性，让python更快更加安全，本文从应用层面来讲一下python3.11的这些新特性
特化自适应解析器是什么，如何使用特化写出更高性能的代码
如何在项目中落地type hint写出结实的代码，有那些注意事项
asyncio的概念及应用场景
Faster Python 3.11

Faster
Future
Specializing(特化)

当一个函数被执行的次数足够多(>53)就会被特化，被特化的指令叫hot code。(次数必要看对应不同版本cpython源码)
源码：Python/specialize.c   -> _PyCode_Warmup
特化流程：
​        原始指令 —— 中间状态(名称中含ADAPTIVE) —— 特化后的指令(非常快)

图片来源：Python3-源码剖析(二)-指令特化 | Yuerer's Blog
碰到问题

同样的代码在命令行中可以被特化，而放一个.py文件中，再通过dis.dis(module.func,adaptive=True)就无法被特化
示例函数代码如下：
  1. >>> def f(x):
  2. ...     return x*x
  3. ... for i in range(100):
  4. ...     f(i)
复制代码

表明：乘法的opcode为BINARY_OP，在这个例子中我们传的是int当被特化后会酿成BINARY_OP_MULTIPLY_INT，因为python弱类型，确定的类型可以极大提高速率，建议去看cpython的实现源码加深明白。
把上面代码放在.py文件中，发现无法进行特化
  1. >>> dis.dis(adaptiveTest.f,adaptive=True)
  2. 10           RESUME                   0
  4. 11           LOAD_FAST                0 (x)
  5.               LOAD_CONST               1 (2)
  6.               BINARY_OP                5 (*)
  7.               RETURN_VALUE
复制代码
最终找到缘故原由：我在vscode自带的终端import之后，在运行时修改了py代码，没有重新reload，导致没有加载最新的代码(py3的reload和py2有区别)。
另一个方法就是：重新打开windows的cmd中并执行一遍

另有一种方法就是：稍稍调整一下代码，把dis加到.py中，然后运行python文件也可以看到函数被特化
  1. import dis
  2. def foo(x):
  3.         return x*x
  5. for i in range(100):
  6.         foo(i)
  8. dis.dis(foo,adaptive=True)
  9. #在python中调用dis打印出字节码
复制代码
LOAD_ATTR(getattr)特化

self.xx 本质就是getattr，对应的opcode为 LOAD_ATTR，在python3中默认可以被特化，比方：
为什么背面2种不能完成特化？
  1. class B(object):
  2.         def __getattr__(self, name):#重写__getattr__
  3.                 return super(B, self).__getattr__(name)
  5. b = B()
  6. b.x = 1
  7. def mytest(n):
  8.         for i in range(n):
  9.                 b.x #无法被特化
复制代码
因为：cpython中特化前判断是否为原始的getattr函数，见：Python\specialize.c


如何让C扩展python类可以特化？
重点讲解：2种实现方法
如何检查代码是否被特化？

可视化特化工具，github：https://github.com/brandtbucher/specialist
运行代码并天生(网页)报表，那么如何纳入到项目中进行可视化呢？因为游戏项目依靠于引擎API，必要跑在游戏引擎之上，不同于纯python情况
Typing check(type hint)

base vscode Pylance
Type Ignore

pyrightconfig.json 兼容py2的文件，忽略整个文件
overload

配合vscode的pylance特性来做代码检查
当函数传参个数不符合要求时，在IDE中进行报错提示
Stub Files

和py同名的文件格式为.pyi，语法也一样，在这里写type hint，提供给IDE使用，运行时无关
AsyncIO

What is it?
Keywords pair(async / await)
So what?
What is it?

Asyncio is used as a foundation for multiple Python asynchronous frameworks that
provide high-performance network and web-servers, database connection libraries,
distributed task queues, etc.
Asyncio is often a perfect fit for IO-bound and high-level structured network code.
简单的例子发挥不出作用
  1. import asyncio
  2. async def foo():
  3.         await asyncio.sleep(1)
  4.         print ('foo')
  5. event_loop = asyncio.get_event_loop()
  6. event_loop.run_until_complete(foo())
复制代码
上面这个简单的asyncio的例子和下面这段代码作用一样，无法体现出asyncio的作用
  1. def foo():
  2.         time.sleep(1)
  3.         print('foo')
  4. foo()
复制代码
适合用在那些地方？

Patch
Distributed Task Framework
感兴趣的可以搜刮ProcessPoolExecutor去了解
UVLoop

uvloop用来替换asyncio的event loop更高效，底层使用libuv通过cython实现，比原生的asyncio快2~4倍，有线上项目已验证过其稳定性
开源所在：https://github.com/MagicStack/uvloop
简单几行就可以替换asyncio的event loop
  1. import asyncio
  2. import sys
  4. import uvloop
  6. async def main():
  7.     # Main entry-point.
  8.     ...
  10. if sys.version_info >= (3, 11):
  11.     with asyncio.Runner(loop_factory=uvloop.new_event_loop) as runner:
  12.         runner.run(main())
  13. else:
  14.     uvloop.install()
  15.     asyncio.run(main())
复制代码
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4