发现一个用 Rust 重写的 Pandas 的替代品，支持 Python

[Baboonowen]

我看 V2 好像没有人讨论，就是这个 Polars，库的设计方式就是对标 Pandas 的，API 设计基本相同，稍微改改就能迁移。

我电脑上同样的任务只需要 20% 的 Pandas 完成时间，有图有真相：

你们可以自己在自己机器上也跑跑看，这是我的测试代码： https://github.com/reycn/polars-pandas-bench

[justou]

@mepwang 让我想起了我的入门语言 Fortran ，数组在内存中列连续。出了学校再也没用过了，现在语言内置的并行计算功能越来越完善了
https://coarrays.sourceforge.io/doc.html
https://github.com/tkoenig1/coarray-tutorial/blob/main/tutorial.md

[MonTubasa]

我现在公司项目就在用，还挺好用的，就是有问题经常搜不到答案，需要自己读源码。

[NoOneNoBody]

粗看了一下文档，似乎学习成本不低，方法虽然接近，但不少参数区别较大，熟悉了 pandas 的人脑子转弯不容易，不熟悉 pandas 的从 0 开始反而可能好一些

文档前面几页就没找到和 pandas 直接互换的方法，只有新建或者文档读取

[sadhen]

这个项目很赞的。

[ohayoo]

@panggmai 大佬，pandas 读大文件，为了内存友好，可以设置 chunksize 来分块读取，再 for 循环；请问下 polars 读大文件是怎么分块读取的？ n_rows 参数吗？ n_rows 参数我试过，列数一多就容易出问题，得自己写循环来弄，感觉不是特别理想的方式

[han777]

@rocmax Bagua, 一个 rust 写的 PyTorch 的深度训练加速框架

[aa2893785]

@MonTubasa 是 python 在用还是 rust 在用

[NoAnyLove]

看起来 pandas 2.0 也要用 arrow 格式，https://datapythonista.me/blog/pandas-20-and-the-arrow-revolution-part-i