CPython 实现原理
  • README
  • 一、简介
    • 1.1 如何使用此书
    • 1.2 额外材料和学习资料
  • 二、获取 CPython 源码
    • 2.1 源代码里有什么?
  • 三、准备你的开发环境
    • 3.1 选IDE还是编辑器?
    • 3.2 安装Visual Studio
    • 3.3 安装Visual Studio Code
    • 3.4 安装JetBrains Clion
    • 3.5 安装Vim
    • 3.6 总结
  • 四、编译 CPython
    • 4.1 在 macOS 上编译 CPython
    • 4.2 在 Linux 上编译 CPython
    • 4.3 安装自定义版本
    • 4.4 make 快速入门
    • 4.5 CPython 的 make 目标
    • 4.6 在 Windows 上编译 CPython
    • 4.7 PGO 优化
    • 4.8 总结
  • 五、Python 语言和语法
    • 5.1 为什么 CPython 是用 C 语言而不是用 Python 语言来实现
    • 5.2 Python 语言规范
    • 5.3 分析器生成器
    • 5.4 重新生成语法
    • 5.5 总结
  • 六、配置和输入
    • 6.1 配置状态
    • 6.2 构建配置
    • 6.3 从输入构建模块
    • 6.4 总结
  • 七、基于语法树的词法分析和解析
    • 7.1 具象语法树生成器
    • 7.2 CPython 解析器-分词器
    • 7.3 抽象语法树
    • 7.4 要记住的术语
    • 7.5 一个示例:添加一个约等于比较运算法
    • 7.6 总结
  • 八、编译器
    • 8.1 相关源文件
    • 8.2 重要的专业术语
    • 8.3 实例化一个编译器
    • 8.4 未来标志和编译器标志
    • 8.5 符号表
    • 8.6 核心编译过程
    • 8.7 汇编
    • 8.8 创建一个 Code Object
    • 8.9 使用 Instaviz 展示 Code Object
    • 8.10 一个示例:实现约等于操作符
    • 8.11 总结
  • 九、求值循环
    • 9.1 构建线程状态
    • 9.2 构建帧对象
    • 9.3 帧的执行
    • 9.4 值栈
    • 9.5 例子:在列表中添加元素
    • 9.6 总结
  • 十、内存管理
    • 10.1 C 中的内存分配
    • 10.2 Python 内存管理系统设计
    • 10.3 CPython 内存分配器
  • 十一、并行和并发
    • 11.1 并行和并发模型
    • 11.2 进程的结构
    • 11.3 多进程并行
    • 11.4 多线程
    • 11.5 异步编程
    • 11.6 生成器
    • 11.7 协程
    • 11.8 异步生成器
    • 11.9 子解释器
    • 11.10 总结
  • 十二、对象和类型
    • 12.1 本章的例子
    • 12.2 内置类型
    • 12.3 对象和可变长度对象类型
    • 12.4 类型类
    • 12.5 布尔和整数类型
    • 12.6 Unicode 字符串类型
    • 12.7 字典类型
    • 12.8 总结
  • 十三、标准库
    • 13.1 Python 模块
    • 13.2 Python 和 C 模块
  • 十四、测试套件
    • 14.1 在 Windows 上运行测试套件
    • 14.2 在 Linux 或 MacOS 上运行测试套件
    • 14.3 测试标志
    • 14.4 运行特定测试
    • 14.5 测试模块
    • 14.6 测试工具
    • 14.7 总结
  • 十五、调试
  • 十六、基准测试、性能分析和追踪
  • 十七、下一步计划
    • 17.1 为 CPython 编写 C 扩展
    • 17.2 改进你的 Python 应用程序
    • 17.3 为 CPython 项目做贡献
    • 17.4 继续学习
  • 十八、附录
    • 18.1 C 预处理器
    • 18.2 基础 C 语法
    • 18.3 总结
  • 致谢
Powered by GitBook
On this page
  • 汇编器数据结构
  • 汇编器深度优先搜索算法
  • 汇编器 C API
  • 深度优先搜索
Edit on GitHub
  1. 八、编译器

8.7 汇编

一旦这些编译阶段完成,编译器就会拥有帧块列表,每个帧块都包含指令列表和指向下一个块的指针。汇编器(assembler)对基础帧块执行深度优先搜索(DFS),并将指令合并为单字节码序列。

汇编器数据结构

在 Python/compile.c 中声明汇编器状态结构(assembler),其具有以下字段:

字段
类型
用途

a_bytecode

PyObject * ( str )

包含字节码的字符串

a_lineno

int

发出指令后的最后 lineno

a_lineno_off

int

最后的 lineno 字节码偏移量

a_lnotab

PyObject * ( str )

包含 innotab 的字符串

a_lnotab_off

int

偏移到 innotab 中

a_nblocks

int

可达块数

a_offset

int

偏移到字节码

a_postorder

basicblock **

DFS 后序遍历中的块列表

汇编器深度优先搜索算法

汇编器使用深度优先搜索(DFS)遍历基础帧块图中的节点。DFS 算法并不是特定于 CPython 的,但它通常用于图遍历。

CST 和 AST 都是树结构,而编译器状态是一个图结构,其中的节点是包含指令的基础帧块。

基础帧块由两个图链接在一起。一种是基于每个块的 b_list 属性按相反顺序来创建。一系列按字母顺序从 A 到 O 命名的基础帧块,看起来如下图所示:

图不翻译

从 b_list 创建的图用于顺序访问编译器单元(compiler unit)中的每个块(block)。

第二个图使用每个块的 b_next 属性。此列表代表控制流。此图中的顶点是通过调用 compiler_use_next_block(c, next) 创建的,其中 next 是从当前块绘制顶点的下一个块(c->u->u_curblock)。

for 循环节点图可能类似于:

图不翻译

顺序图和控制流图都会被用到,但只有控制流图是执行 DFS 使用到的图。

汇编器 C API

汇编器 API 有一个入口点:assemble() ,它具有以下职责:

  • 计算内存分配的块数;

  • 确保每个从末端掉落的块都返回 None;

  • 解析任何被标记为相对的跳转语句偏移;

  • 调用 dfs() 对块执行深度优先搜索;

  • 向编译器发送所有指令;

  • 把编译器状态作为入参调用 makecode() 以生成 PyCodeObject。

代码不翻译

深度优先搜索

深度优先搜索由 Python.compile.c 中的 dfs() 执行,它跟随每个块中的 b_next 指针,通过转换 b_seen 把块标记为所看到的,然后以相反的顺序将它们添加到汇编器的 a_postorder 列表中。

该函数在汇编器的后序列表和每一个块上循环,如果它有跳转操作,则递归调用 dfs() 进行该跳转:

代码不翻译

一旦汇编器使用 DFS 将图汇编到 CFG 中,就可以创建 code object。

Previous8.6 核心编译过程Next8.8 创建一个 Code Object

Last updated 2 years ago