一、为什么反复拼接numpy数组会变“慢”

1.1 举个实际的例子——踩坑现场

先给你看一个常见的坑：当你需要反复往一个numpy数组里加元素时，很多新手会直接用np.concatenate，就像每次把小零件塞进箱子，不够大就换个更大的箱子，还要把旧零件全部倒进去。下面这段代码就是典型的错误用法，我们来实测一下性能：

import numpy as np
import time

# 错误示范：反复用np.concatenate拼接数组
def bad_concat(data_count):
    result = np.array([])  # 一开始是空的“空箱子”
    for i in range(data_count):
        # 每次生成一个单元素的小“包裹”，拼到result后面
        single_data = np.array([i])
        result = np.concatenate([result, single_data])
    return result

# 测试10000个元素的耗时
start_time = time.time()
bad_concat(10000)
end_time = time.time()
print(f"错误方法耗时：{end_time - start_time:.2f}秒")

在普通电脑上，这段代码跑下来大概要1-2秒，要是你跑10万个元素，可能要十几秒甚至更久，这就是我们要解决的问题。

1.2 背后的问题：二次复制开销

为什么会这么慢？核心是每次np.concatenate都会复制所有旧数据。举个通俗的例子：第一次拼，你有1个元素，要复制1次给新箱子；第二次拼，有2个元素，要复制2次；第n次拼，要复制n次。总复制次数是1+2+3+...+n，相当于O(n²)的二次复杂度，n越大，耗时增长越夸张，这就是导致性能暴跌的原因。

二、解决方案：提前留好坑位的玩法

2.1 核心思路：用np.empty提前占位置

既然每次拼接都要复制旧数据，那我们干脆提前算好需要多少空间，先把内存占好，不做无用的复制。这里要用到np.empty，它的作用是：申请一块固定大小的内存，但不做任何初始化，所以速度极快（比np.zeros快很多），我们只需要把自己的数据直接填到对应位置就行，不用再拼接。

2.2 完整示例：从踩坑到优化的对比

我们把刚才的错误代码改成优化后的版本，再测一次性能：

import numpy as np
import time

# 正确示范：用np.empty预先分配数组，再填充
def good_pre_allocate(data_count):
    # 步骤1：预先申请能装下data_count个元素的内存坑位，dtype要和数据类型匹配（这里是整数）
    result = np.empty(data_count, dtype=np.int64)
    # 步骤2：循环直接往对应位置填数据，不需要拼接，没有额外复制
    for i in range(data_count):
        result[i] = i  # 直接给索引i的位置赋值，相当于往提前留好的坑位放零件
    return result

# 同样测试10000个元素的耗时
start_time = time.time()
good_pre_allocate(10000)
end_time = time.time()
print(f"优化方法耗时：{end_time - start_time:.4f}秒")

还是10000个元素，优化后的代码耗时通常在0.01秒左右，比错误方法快100倍以上，差距非常明显。

三、这个方案的实际使用场景

什么时候需要用这种方法？主要是你能预估最终数组的总长度，并且需要频繁追加元素的场景，比如：

  1. 视频处理：逐帧提取灰度值，每帧固定是256*256的数组，总帧数已知时，提前申请大数组；
  2. 数据流处理：每接收到一个数据点就存起来，总数据量提前能估算（比如传感器1小时采集10000个点）；
  3. 批量生成：循环生成固定数量的样本，需要把样本批量存入一个大数组中。

如果是完全不确定长度、波动极大的场景（比如不知道最终有多少条日志要存），可以多预估10%-20%的余量，比如申请data_count * 1.2的大小，避免不够用。

四、该方案的优缺点和注意事项

4.1 优点：极致的性能提升

最核心的优点就是消除了二次复制开销，把时间复杂度从O(n²)降到O(n)，数据量越大，优势越明显。比如处理100万个元素时，优化后的代码能比旧方法快上千倍，完全满足批量数据处理的需求。

4.2 缺点：需要预估长度

这个方案的唯一缺点是需要提前预估数组的最终长度，如果预估的长度比实际需要的小，就会出现数组越界报错；如果预估太大，会浪费一些内存（不过对于现代电脑来说，几GB的内存通常完全没问题）。

4.3 注意事项

  1. 类型匹配：np.empty的dtype要和你要存的数据类型一致，比如存浮点数要用np.float64，存时间戳用np.datetime64，不然会出现数据类型错误；
  2. 余量设置：如果长度不确定，尽量留10%-20%的余量，比如预估总长度是10000，就申请12000的坑位；
  3. 不适合极端动态场景：如果长度波动超过20%，不如用列表先存，最后转成numpy数组（列表append的复杂度是O(1)，但转numpy数组还是需要一次转换，适合不确定长度的少量场景）。

五、总结

反复用np.concatenate拼接numpy数组的问题，本质是二次复制带来的性能开销，尤其是数据量大时会拖垮整个程序。用np.empty预先分配内存、再手动填充数据的方案，是最直接有效的优化方式，它能把时间复杂度从O(n²)降到O(n)，大幅提升处理速度，适合所有需要频繁追加元素的numpy数组场景。使用时注意预估长度、留好余量，就能轻松解决这个常见的性能痛点，适配不同基础的开发者快速上手。