百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

解密 python list 深/浅拷贝 原理

off999 2024-10-05 19:44 30 浏览 0 评论

1. python list的深/浅拷贝

python 有一种常用数据类型:list,使用list时经常需要考虑一件事件,那就是:浅拷贝与深拷贝。

至于什么是深浅拷贝,先从一个示例代码来分析一下:

import copy

# list 测试使用的源数据
lists = [[1, 2, 3], 4, 5, 6]

def low_copy():
    # list 浅拷贝
    low_list = copy.copy(lists)
    return list(low_list)

def deep_copy():
    # list 深拷贝
    deep_list = copy.deepcopy(lists)
    return list(deep_list)

if __name__ == "__main__":
    print("源 list:", lists)
    #  分别获取 浅拷贝、深拷贝 list对象
    lists_c = low_copy()
    lists_d = deep_copy()
    print("浅拷贝 list:", lists_c)
    print("深拷贝 list:", lists_c)

    print("========================")
    # 对源数据的 第0下数据追加数值7
    print("对源list的第0下数据追加数值7,start")
    lists[0].append(7)
    print("对源list的第0下数据追加数值7,end")
    print("========================")

    # 源数据的 第0下数据追加数值7 之后验证,深浅拷贝数据的变化
    print("源 list:", lists)
    print("浅拷贝 list:", lists_c)
    print("深拷贝 list:", lists_d)

    # 执行结果
    # 
    # 源 list: [[1, 2, 3], 4, 5, 6]
    # 浅拷贝 list: [[1, 2, 3], 4, 5, 6]
    # 深拷贝 list: [[1, 2, 3], 4, 5, 6]

    # ========================
    # 对源list的第0下数据追加数值7,start
    # 对源list的第0下数据追加数值7,end
    # ========================

    # 源 list: [[1, 2, 3, 7], 4, 5, 6]
    # 浅拷贝 list: [[1, 2, 3, 7], 4, 5, 6]
    # 深拷贝 list: [[1, 2, 3], 4, 5, 6]

通过示例代码可以看出:在对list进行浅拷贝、深拷贝之后,对源数据进行修改,则会直接影响浅拷贝的数据,深拷贝的数据则无影响。

这说明了什么,具体又是怎么实现的呢?

2. pyhton list 的实现

首先,要说明几点:

  1. python 底层源码使用C语言实现
  2. 在 python 中一切皆对象(整数、字符串,甚至类型、函数等都是对象)

python的对象,大概分为以下几种:

参考 https://flaggo.github.io/python3-source-code-analysis/objects/object/

  • Fundamental 对象: 类型对象
  • Numeric 对象: 数值对象
  • Sequence 对象: 容纳其他对象的序列集合对象
  • Mapping 对象: 类似 C++中的 map 的关联对象
  • Internal 对象: Python 虚拟机在运行时内部使用的对象

3. list 对象

在python的源码实现中,list的结构体如下:

// 源文件:Include/listobject.h
// listobject.h

typedefstruct {
    // 对象的公共头部
    PyObject_VAR_HEAD
    
    // 指向 list 元素的指针向量,list[0] 就是 ob_item[0]
    // 可以看到 ob_item 是个二级指针
    //   也就是说 **ob_item 表示它是指向 PyObject类型指针数组 指针
    // 		*ob_item 表示它是 PyObject类型指针数组
    /* Vector of pointers to list elements.  list[0] is ob_item[0], etc. */
    PyObject **ob_item;

    /* ob_item contains space for 'allocated' elements.  The number
     * currently in use is ob_size.
     * Invariants:
     *     0 <= ob_size <= allocated
     *     len(list) == ob_size
     *     ob_item == NULL implies ob_size == allocated == 0
     * list.sort() temporarily sets allocated to -1 to detect mutations.
     *
     * Items must normally not be NULL, except during construction when
     * the list is not yet visible outside the function that builds it.
     */

    // list 容纳元素的总数
    Py_ssize_t allocated;
} PyListObject;

从 list 的结构体可以看出,真正存储对象的是 ob_item 字段,该字段是一个指向 指针数组 的指针,从而得知 PyListObject 结构体是一个多级结构体。

创建list的过程主要分为两个步骤:

  1. 创建 PyListObject 结构体
  2. 对 ob_item 指向的指针数组进行初始化操作
// 源文件位置:Objects/listobject.c
// 创建一个新的 list
PyObject *
PyList_New(Py_ssize_t size) {
    // 判断创建 list 时的 size 是否合法
    if (size < 0) {
        PyErr_BadInternalCall();
        returnNULL;
    }

    struct _Py_list_state *state = get_list_state();
    // 最终创建的 list 对象指针
    PyListObject *op;

#ifdef Py_DEBUG
    // PyList_New() must not be called after _PyList_Fini()
    assert(state->numfree != -1);
#endif

    if (state->numfree) {
        state->numfree--;
        op = state->free_list[state->numfree];
        _Py_NewReference((PyObject *) op);
    } else {
        // 创建一个新的 list
        op = PyObject_GC_New(PyListObject, &PyList_Type);
        if (op == NULL) {
            returnNULL;
        }
    }

    if (size <= 0) {
        op->ob_item = NULL;
    } else {
        op->ob_item = (PyObject **) PyMem_Calloc(size, sizeof(PyObject *));
        if (op->ob_item == NULL) {
            Py_DECREF(op);
            return PyErr_NoMemory();
        }
    }

    Py_SET_SIZE(op, size);
    op->allocated = size;
    _PyObject_GC_TRACK(op);
    return (PyObject *) op;
}

4. list 浅拷贝

// 源文件位置:Objects/listobject.c

/*[clinic input]
list.copy
Return a shallow copy of the list.
[clinic start generated code]*/

// list 的 浅拷贝
static PyObject *
list_copy_impl(PyListObject *self)
/*[clinic end generated code: output=ec6b72d6209d418e input=6453ab159e84771f]*/
{
    return list_slice(self, 0, Py_SIZE(self));
}


// ilow、ihigh 的类型 Py_ssize_t 为当前系统一个指针的大小
static PyObject *
list_slice(PyListObject *a, Py_ssize_t ilow, Py_ssize_t ihigh) {
    PyListObject *np;
    PyObject **src, **dest;
    Py_ssize_t i, len;
    len = ihigh - ilow;
    if (len <= 0) {
        return PyList_New(0);
    }

    // 生成新的 list
    np = (PyListObject *) list_new_prealloc(len);
    if (np == NULL)
        returnNULL;

    // 从 list 的第一个位置开始 a->ob_item 偏移 ilow,即:移动到 第 ilow 个数值元素的指针位置
    src = a->ob_item + ilow;

    // 新的 list 的 数值列表第一个位置
    dest = np->ob_item;

    // 进行复制,注意:只是复制了 对象的指针
    for (i = 0; i < len; i++) {
        // src[i] 存储着 指向具体的对象的指针
        PyObject *v = src[i];

        // v 的引用计数 +1
        Py_INCREF(v);

        // 复制到新的list中
        // 此时 新老list底层数据对象指向相同
        dest[i] = v;
    }

    // 设置新list的size
    // ob->ob_size = size
    Py_SET_SIZE(np, len);
    return (PyObject *) np;
}

进行浅拷贝之后,从内存布局发生的变化,可以看出:新、老list共享底层数据对象,这也是导致一个list进行修改之后,影响其他list的原因

5. list 深拷贝

进行深拷贝之后,从内存布局发生的变化,可以看出:新、老list分别使用不同的底层数据对象,这就不会导致一个list进行修改之后,影响其他list。

总结

通过分析python底层源码了解到list的底层结构以及深、浅拷贝原理,开发过程中使用深拷贝还是浅拷贝,则需要根据实际情况来处理。

  • 浅拷贝在拷贝时,只拷贝第一层中的引用,如果元素是可变对象,并且被修改,那么拷贝的对象也会发生变化。
  • 深拷贝在拷贝时,会逐层进行拷贝,直到所有的引用都是不可变对象为止。
  • Python 有多种方式实现浅拷贝,copy 模块的 copy 函数 ,对象的 copy 函数 ,工厂方法,切片等。
  • 大多数情况下,编写程序时,都是使用浅拷贝,除非有特定的需求。
  • 浅拷贝的优点:拷贝速度快,占用空间少,拷贝效率高。

扩展阅读

[1] https://blog.csdn.net/mall_lucy/article/details/104531218 图解深浅拷贝

[2] https://flaggo.github.io/python3-source-code-analysis/objects/list-object/ python list 对象

相关推荐

阿里云国际站ECS:阿里云ECS如何提高网站的访问速度?

TG:@yunlaoda360引言:速度即体验,速度即业务在当今数字化的世界中,网站的访问速度已成为决定用户体验、用户留存乃至业务转化率的关键因素。页面加载每延迟一秒,都可能导致用户流失和收入损失。对...

高流量大并发Linux TCP性能调优_linux 高并发网络编程

其实主要是手里面的跑openvpn服务器。因为并没有明文禁p2p(哎……想想那么多流量好像不跑点p2p也跑不完),所以造成有的时候如果有比较多人跑BT的话,会造成VPN速度急剧下降。本文所面对的情况为...

性能测试100集(12)性能指标资源使用率

在性能测试中,资源使用率是评估系统硬件效率的关键指标,主要包括以下四类:#性能测试##性能压测策略##软件测试#1.CPU使用率定义:CPU处理任务的时间占比,计算公式为1-空闲时间/总...

Linux 服务器常见的性能调优_linux高性能服务端编程

一、Linux服务器性能调优第一步——先搞懂“看什么”很多人刚接触Linux性能调优时,总想着直接改配置,其实第一步该是“看清楚问题”。就像医生看病要先听诊,调优前得先知道服务器“哪里...

Nginx性能优化实战:手把手教你提升10倍性能!

关注△mikechen△,十余年BAT架构经验倾囊相授!Nginx是大型架构而核心,下面我重点详解Nginx性能@mikechen文章来源:mikechen.cc1.worker_processe...

高并发场景下,Spring Cloud Gateway如何抗住百万QPS?

关注△mikechen△,十余年BAT架构经验倾囊相授!大家好,我是mikechen。高并发场景下网关作为流量的入口非常重要,下面我重点详解SpringCloudGateway如何抗住百万性能@m...

Kubernetes 高并发处理实战(可落地案例 + 源码)

目标场景:对外提供HTTPAPI的微服务在短时间内收到大量请求(例如每秒数千至数万RPS),要求系统可弹性扩容、限流降级、缓存减压、稳定运行并能自动恢复。总体思路(多层防护):边缘层:云LB...

高并发场景下,Nginx如何扛住千万级请求?

Nginx是大型架构的必备中间件,下面我重点详解Nginx如何实现高并发@mikechen文章来源:mikechen.cc事件驱动模型Nginx采用事件驱动模型,这是Nginx高并发性能的基石。传统...

Spring Boot+Vue全栈开发实战,中文版高清PDF资源

SpringBoot+Vue全栈开发实战,中文高清PDF资源,需要的可以私我:)SpringBoot致力于简化开发配置并为企业级开发提供一系列非业务性功能,而Vue则采用数据驱动视图的方式将程序...

Docker-基础操作_docker基础实战教程二

一、镜像1、从仓库获取镜像搜索镜像:dockersearchimage_name搜索结果过滤:是否官方:dockersearch--filter="is-offical=true...

你有空吗?跟我一起搭个服务器好不好?

来人人都是产品经理【起点学院】,BAT实战派产品总监手把手系统带你学产品、学运营。昨天闲的没事的时候,随手翻了翻写过的文章,发现一个很严重的问题。就是大多数时间我都在滔滔不绝的讲理论,却很少有涉及动手...

部署你自己的 SaaS_saas如何部署

部署你自己的VPNOpenVPN——功能齐全的开源VPN解决方案。(DigitalOcean教程)dockovpn.io—无状态OpenVPNdockerized服务器,不需要持久存储。...

Docker Compose_dockercompose安装

DockerCompose概述DockerCompose是一个用来定义和管理多容器应用的工具,通过一个docker-compose.yml文件,用YAML格式描述服务、网络、卷等内容,...

京东T7架构师推出的电子版SpringBoot,从构建小系统到架构大系统

前言:Java的各种开发框架发展了很多年,影响了一代又一代的程序员,现在无论是程序员,还是架构师,使用这些开发框架都面临着两方面的挑战。一方面是要快速开发出系统,这就要求使用的开发框架尽量简单,无论...

Kubernetes (k8s) 入门学习指南_k8s kubeproxy

Kubernetes(k8s)入门学习指南一、什么是Kubernetes?为什么需要它?Kubernetes(k8s)是一个开源的容器编排系统,用于自动化部署、扩展和管理容器化应用程序。它...

取消回复欢迎 发表评论: