C 语言 循环下 创建动态数组 非常慢 应该如何解决

[hhhhhh123]

我简单阐述下背景: 我不是专业 C 开发人员， 我是 python 开发。 因为 python 部分功能实现慢，故使用 C 来重写然后进行封装动态库进行调用。 所有项目用的是 C 不是 C++ 。 目前是已经完成了 速度也有很大的提升。 但是我发现应该还能提升 。 下面代码就是一个例子。。

我要循环一个很大的值 百万级别甚至上亿。 然后动态数组， 但是这个创建动态数组非常慢，各位 C 大佬有什么方法可以解决吗？ 还是说我的操作有问题？？？ 非专 C 人员，勿喷， 如果可以的话，救救孩纸吧.

下面迭代了 132963138 次数的耗时情况

for (int ii = 0; ii < arr_cnt_copy; ii++) {

count += 1;
int min_score = 7462; // 200 ms
int* res_card_lst = (int*)malloc(c_ * sizeof(int)); // 25s

}

[e9pWeUbh9PGCnp95]

由于操作系统的惰性分配有关, 请提前申请内存,并提前触发缺页中断, 这样能够确保内存立即能够使用.

[ty359]

@hhhhhh123 那你要么转用 C++，不然就多注意一点，C 不像 Python ，是没有自动内存回收的，而且例如文件描述符也是需要手动管理的，在这个角度 C 比 C++要麻烦不少；
另外你不能因为好像 C/C++比 Python 快就去改用 C/C++，你最好得明白 C/C++该怎么用；一个 C/C++新手写出来的科学计算程序可能还不如 numpy 的性能。

[documentzhangx66]

1.malloc 以及类似的内存分配、重分配、销毁等 API ，其本质是一个规划管理问题，运算量非常耗时。很多朋友只调用它一次，当然感受不到它的慢。

因此，很多大佬，会根据需求，自己实现 xxMaloc ，来根据需求定制化地管理内存，不用原生的 malloc ，来进行加速。


2.我还是建议楼主，重开一贴，专门讲讲你的需求，可能会有更好的方案。


3.楼主觉得，这个问题上 C 比 Python 强，但楼主需要思考一下，为什么 Python 还那么流行。

[mxT52CRuqR6o5]

我觉得你可以试试 c#，前几天站里有个人发语言性能排名，c#是有 gc 带 runtime 里面最快的

[BrettD]

@mxT52CRuqR6o5 但是 C#和 Python 互操作目前有简单的解决方案吗？

[stephenyin]

@mxT52CRuqR6o5 #24 OP 的环境 c++ 都跑不起来，C# 更没可能咯。

话说 OP 应该给项目提议招个 C/C++ 程序员。

[tairan2006]

我还以为 c 里面直接声明一个超大数组是常识，当然你可以试试内存池之内的玩意儿

[chenxytw]

我的建议是，用 Cython.

[ToBeHacker]

malloc 是系统调用，频次太高也会有性能问题的

[MeePawn666]

@ToBeHacker 小杠一下，malloc 不是系统调用，底层的 brk 和 mmap 才是

[LANB0]

@tairan2006 栈区超大数组是很可能造成栈溢出的，怎么会有常识一说？楼主只是没有认识到动态内存申请是需要耗时的，把动态内存申请放在循环外即可解决，对于循环外函数频繁调用的，使用全局或者静态指针申请一次即可，内存池对非 C 开发人员来说，要求高了点。

[ToBeHacker]

@MeePawn666 是的，malloc 是 C 标准库的实现

[hhhhhh123]

这是要我重新开个帖子， 把代码贴上 然后找优化点吗？

[hhhhhh123]

现在优化到 200ms -> 58ms 平均，但是还是太慢了

[echoechoin]

在 github 找一个内存池用用呗， 想更快还可以使用 linux 的 hugetables 但是感觉用内存池就够了吧