Python 的内存是如何管理的

2020-03-13 20:48:47 +08:00
 CicadaMan

如果写过 C 和 C++的小伙伴肯定都知道,程序中的内存管理是非常关键的,一不小心可能就会产生内存泄漏。但是我们在写 Python 的时候好像从来没有关心过内存的处理,为什么可以这么爽?在你爽的背后,实际上是 Python 在默默的帮你管理着,具体怎么实现的,听我慢慢道来。

一、引用计数:

在 Python 中,使用了引用计数这一技术实现内存管理。一个对象被创建完成后就有一个变量指向他,那么就说明他的引用计数为 1,以后如果有其他变量指向他,引用计数也会相应增加,如果将一个变量不再执行这个对象,那么这个对象的引用计数减 1。如果一个对象没有任何变量指向他,也即引用计数为 0,那么这个对象会被 Python 回收。示例代码如下:

class Person(object):
    def __init__(self,name):
        self.name = name

    def __del__(self):
        print('%s 执行了 del 函数'%self.name)

while True:
    p1 = Person('p1')
    p2 = Person('p2')
    del p1
    del p2
    a = input('test:')

可以看到,两个对象的 del 函数都得到了执行。(欢迎加公众号:pythonjs,持续分享干货)

二、循环引用:

引用计数这一技术虽然可以在一定程度上解决内存管理的问题。但是还是有不能解决的问题,即循环引用。比如现在有两个对象分别为 a 和 b,a 指向了 b,b 又指向了 a,那么他们两的引用计数永远都不会为 0。也即永远得不到回收。看以下示例:

class Person(object):
    def __init__(self,name):
        self.name = name

    def __del__(self):
        print('%s 执行了 del 函数'%self.name)

while True:
    p1 = Person('p1')
    p2 = Person('p2')
    # 循环引用后,永远得不到释放
    p1.next = p2
    p2.prev = p1
    del p1
    del p2
    a = input('test:')

可以看到,del 函数是不会运行的,是因为循环引用导致两个对象得不到释放。(欢迎加公众号:pythonjs,持续分享干货)

三、标记清除和分代回收:

在 Python 程序中,每次你新创建了一个对象,那么就会将这个对象挂到一个叫做零代链表中(当然这个链表是 Python 内部的,Python 开发者是没法访问到的)。比如现在你在程序中创建四个 Person 对象,分别叫做 p1、p2、p3 以及 p4,然后 p1 与 p2 之间互相引用,并且让 p3 和 p4 的引用计数为 2,示例代码如下:

import sys

class Person(object):
    def __init__(self,name):
        self.name = name
        self.next = None
        self.prev = None

p1 = Person('p1')
p2 = Person('p2')
p3 = Person('p3')
p4 = Person('p4')

p1.next = p2
p2.prev = p1

temp1 = p3
temp2 = p4

print(sys.getrefcount(p1))
print(sys.getrefcount(p2))
print(sys.getrefcount(p3))
print(sys.getrefcount(p4))

以上代码实际上就会将 p1 和 p2 以及 p3 和 p4 挂在一个叫做零代链表中,示例图如下:

我们可以看到,这时候 p1 引用了 p2,而 p2 又引用了 p1,因此这两个对象产生了循环引用。在后期即使我删除了 del p1 以及 del p2,那么这两个对象也会得不到释放。

因此这时候 Python 就启用了一个新的垃圾回收的机制。如果创建的对象总和减去被释放的对象,达到一定的值(某个阈值),那么 Python 就会遍历这个零代链表,找到那些有相互引用的对象,将这些对象的引用计数减 1,如果引用计数值为 0 了,那么就说明这个对象是可以被释放的,比如以上 p1 和 p2,这时候就会释放 p1 和 p2。接下来再将没有被释放的对象,挪动到一个新的链表中,这个链表叫做一代链表

在零代链表清理的次数达到某个阈值后,Python 会去遍历一代链表,将那些没有得到释放的对象移动到二代链表。同样的原理,如果一代链表清理的次数达到某个阈值后,Python 会去遍历二代链表,把垃圾对象进行回收。(欢迎加公众号:pythonjs,持续分享干货)

四、弱代假说:

来看看代垃圾回收算法的核心行为:垃圾回收器会更频繁的处理新对象。一个新的对象即是你的程序刚刚创建的,而一个来的对象则是经过了几个时间周期之后仍然存在的对象。Python 会在当一个对象从零代移动到一代,或是从一代移动到二代的过程中提升(promote)这个对象。

为什么要这么做?这种算法的根源来自于弱代假说(weak generational hypothesis)。这个假说由两个观点构成:首先是年轻的对象通常死得也快,而老对象则很有可能存活更长的时间。

假定现在我用 Python 创建一个新对象:

根据假说,我的代码很可能仅仅会使用 ABC 很短的时间。这个对象也许仅仅只是一个方法中的中间结果,并且随着方法的返回这个对象就将变成垃圾了。大部分的新对象都是如此般地很快变成垃圾。然而,偶尔程序会创建一些很重要的,存活时间比较长的对象-例如 web 应用中的 session 变量或是配置项。

通过频繁的处理零代链表中的新对象,Python 的垃圾收集器将把时间花在更有意义的地方:它处理那些很快就可能变成垃圾的新对象。同时只在很少的时候,当满足阈值的条件,收集器才回去处理那些老变量。

另外我们会不断分享技术在公众号:pythonjs,您如果不嫌弃,可以关注一下哦

1882 次点击
所在节点    Python
7 条回复
lithbitren
2020-03-13 23:08:22 +08:00
资瓷,解决了我的一个小疑惑。
lithbitren
2020-03-13 23:09:08 +08:00
顺道问一下,代码是这么插入的啊,妹找到教程啊
CEBBCAT
2020-03-13 23:53:06 +08:00
@lithbitren V2 支持 Markdown 语法呀。本站应该有使用指南节点
lithbitren
2020-03-14 00:09:45 +08:00
@CEBBCAT 没找到指南啊,反引号`我试过了好像没啥用啊,在网上查到的其他语法好像也没有解析昂,还是说只在主楼显示,回复无法显示。
CEBBCAT
2020-03-14 00:16:35 +08:00
lithbitren
2020-03-14 00:20:58 +08:00
@CEBBCAT 蟹蟹,原来是回复里不支持 Markdown 语法
lithbitren
2020-03-14 00:22:40 +08:00
@CEBBCAT 主楼的帖子,关于垃圾回收的变量链表,在我另一个帖子里发现,当达到阈值时触发垃圾回收时,并不会清除掉所有不可到达的变量,每次都会残留几个,这是啥原因昂。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/652612

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX