盛世宏图 发表于 2024-12-6 19:08:56

Cython二进制逆向系列(一) 初识Cython

Cython二进制逆向系列(一) 初识Cython

  众所周知,Python类题目最难的一种就是使用Cython工具将py源码转换为二进制文件。此类题目相比于直接由Cpython编译而成的类字节码文件更复杂,且现在不存在能够将Cython编译后的二进制文件重新反编译成py源码的工具。Cython作为Python中通用的一个模块,其设计的本意是为了提高Python代码的运行效率。因此,在Cython转换py源代码时,会对源码进行一系列的调整,从而干扰整个文件的逆向。当然,也正是因为他是通用工具,其整体框架和对类似Python在字节码处理上也有肯定的规律。本系列将一步步拆解Cython生成的二进制文件/编译中间文件c语言文件,从而手撕Cython逆向。


一、什么是Cython?他与CPython有什么区别?

  我们知道Python作为依托于虚拟机的解释型动态语言,代码在运行时逐行解释。这种动态特性增加了运行开销。与编译型语言相比,编译后的代码已优化为机器码,执行效率更高。别的,Python 使用引用计数和垃圾回收机制管理内存。垃圾回收会在不定时触发的清理过程中消耗 CPU 时间,尤其是在大量对象创建和销毁时。高级数据结构(如列表、字典等)的实现灵活性较高,但其底层内存分配和操作效率不及低级语言中的数组和哈希表。
  Python的虚拟机由其他编译型语言编写,其中由C语言编写的解释器称为CPython。CPython 是 Python 的官方参考实现。CPython由于扩展性强、稳固、简朴的一系列优点,以及他强大的模块社区,使得CPython成为的Python现在应用最为广泛的解释器。
https://img2024.cnblogs.com/blog/3540252/202412/3540252-20241206185258617-1423926979.png
python虚拟机包括python编译器和python解释器
  传统的py代码执行需要经历以下步骤:首先交由编译器将py源代码编译成类字节码文件,然后解释器再按照类字节码文件中存储的数据逐行执行。这样的步骤,导致每次py源代码都要经历编译这一步骤。因此,为了提升py源码的运行效率,进而使得Python也能够处理高并发环境下大概高性能要求的问题,Cython由此诞生。类似于编译型语言,Cython会将py源码转换为c语言代码,然后通过c语言编译器将代码编译成二进制文件,这样py源码每次在执行时,就不需要Python编译器编译出类字节码文件,而是直接使用已经由c语言编译好的二进制文件调用Py解释器的相干接口,这大大提高了Python的执行效率。
  CPython和Cython的雷同点是都能够处理py源代码,但他们是两个截然不同的东西。Cython 是一种工具,主要用于编译和优化 Python 代码,使其更接近 C 的运行效率,并答应调用 C/C++ 函数。


二、使用Cython编译二进制文件

  现在假设项目的根目录下有待编译的py源代码文件test.py,我们只写一行代码:
print("hello world")  然后在项目根目录(test.py同级目录)新建setup.py文件
from distutils.core import setup
from Cython.Build import cythonize
setup(ext_modules=cythonize("test.py")) #这里是待编译文件的名字  然后在终端运行命令
python setup.py build_ext --inplace  就会在同级目录下生成.c的C语言代码文件和.pyd的二进制模块库,以及build文件夹(存储了编译过程中的中间文件)。想要使用此模块,于其他模块雷同,只需import该模块的模块名即可。
  可能会遇到的问题:1.setup文件报错找不到合适的distutils/setup版本。办理方法:切换python版本。笔者用的是3.8.10
           2.终端编译时报错找不到vs build。着实是找不到c语言编译器。办理办法:下载visual studio。
  到此,我们通过正向的方式得到了Cython产生的二进制文件。本节浅分析一下产生的.c文件代码。


三、初识代码的调用逻辑

  打开.c文件,可以看到,一句简朴的print,转换后的c语言代码有4165行之多!足以证明其框架代码和处理代码之多。
https://img2024.cnblogs.com/blog/3540252/202412/3540252-20241206185319386-1108795701.png
  然而事实上,真正执行了print("hello world")的代码是以下部分

[*]位于1781行的常量赋值
static const char __pyx_k_main[] = "__main__";
static const char __pyx_k_name[] = "__name__";
static const char __pyx_k_test[] = "__test__";
static const char __pyx_k_print[] = "print";
static const char __pyx_k_Hello_World[] = "Hello World";
static const char __pyx_k_cline_in_traceback[] = "cline_in_traceback";

[*]位于1958行的函数__Pyx_CreateStringTabAndInitStrings,作用是将字符串和变量/变量名联系在一起
static int __Pyx_CreateStringTabAndInitStrings(void) {
__Pyx_StringTabEntry __pyx_string_tab[] = {
    {&__pyx_n_s_, __pyx_k_, sizeof(__pyx_k_), 0, 0, 1, 1},
    {&__pyx_kp_s_Hello_World, __pyx_k_Hello_World, sizeof(__pyx_k_Hello_World), 0, 0, 1, 0},
    {&__pyx_n_s_cline_in_traceback, __pyx_k_cline_in_traceback, sizeof(__pyx_k_cline_in_traceback), 0, 0, 1, 1},
    {&__pyx_n_s_end, __pyx_k_end, sizeof(__pyx_k_end), 0, 0, 1, 1},
    {&__pyx_n_s_file, __pyx_k_file, sizeof(__pyx_k_file), 0, 0, 1, 1},
    {&__pyx_n_s_main, __pyx_k_main, sizeof(__pyx_k_main), 0, 0, 1, 1},
    {&__pyx_n_s_name, __pyx_k_name, sizeof(__pyx_k_name), 0, 0, 1, 1},
    {&__pyx_n_s_print, __pyx_k_print, sizeof(__pyx_k_print), 0, 0, 1, 1},
    {&__pyx_n_s_test, __pyx_k_test, sizeof(__pyx_k_test), 0, 0, 1, 1},
    {0, 0, 0, 0, 0, 0, 0}
};
return __Pyx_InitStrings(__pyx_string_tab);
}

[*]位于2916行的__Pyx_Print,获取print代码对象,并以arg_tuple为参数进行调用
static int __Pyx_Print(PyObject* f, PyObject *arg_tuple, int newline) {
    int i;
    if (!f) {
      if (!(f = __Pyx_GetStdout()))
            return -1;
    }
    Py_INCREF(f);
    for (i=0; i < PyTuple_GET_SIZE(arg_tuple); i++) {
      PyObject* v;
      if (PyFile_SoftSpace(f, 1)) {
            if (PyFile_WriteString(" ", f) < 0)
                goto error;
      }
      v = PyTuple_GET_ITEM(arg_tuple, i);
      if (PyFile_WriteObject(v, f, Py_PRINT_RAW) < 0)
            goto error;
      if (PyString_Check(v)) {
            char *s = PyString_AsString(v);
            Py_ssize_t len = PyString_Size(v);
            if (len > 0) {
                switch (s) {
                  case ' ': break;
                  case '\f': case '\r': case '\n': case '\t': case '\v':
                        PyFile_SoftSpace(f, 0);
                        break;
                  default:break;
                }
            }
      }
    }

[*]位于3015行的__Pyx_PrintOne,print参数只有一个的情况
static int __Pyx_PrintOne(PyObject* stream, PyObject *o) {
    // ...
    PyObject* arg_tuple = PyTuple_Pack(1, o);
    // ...
    res = __Pyx_Print(stream, arg_tuple, 1);
  

[*]位于2345行,调用print
if (__Pyx_PrintOne(0, __pyx_kp_s_Hello_World) 
页: [1]
查看完整版本: Cython二进制逆向系列(一) 初识Cython