用 Python 实现的逐字符遍历，可能还真的比不上几次 in 呢。。

可能用正则来干可以。/Andy|Jack|Jim|Mike/，然后匹配到后回调判断

@albin504 请教一下，会不会搞一个《假期表》好一些？

这个表假设所有 [周一, 周五] 是工作日，[周六, 周日] 是周末。

其余不同之处才添加记录至该表。（比如，添加 22 ～ 24 日为节假日，25 日为工作日）

各个地方可根据需要，添加自己的节日（比如广西三月三）。

各个公司有特殊需要，也能添加自己的特殊日子。

员工特殊请假、调休等，也才添加进去。

这样，同一条 SQL ，都能兼顾上述所有情况，算出需要的数据了？

每年只需添加十来条新数据即可？

@bt7vip 我还是觉得，普通人对抗大机器不现实。

毕竟人家有顶级工程师给重要软硬件埋后门，
有科学家给加密算法埋后门（比如 MD5 有缺陷），有获取所有企业数据的手腕，
再不济还有强大算力保障（苹果对上架 App Store 的应用有加密技术管制？是不是防止太大强度加密，自己也解不开？）

对抗失败的，比如有编，程，随，想。

前几年对伊朗核设施攻击等。


或许，普通人的目标，就是抵抗下小公司？

@la0wei 《等价》表结构也不能吗？

列名替换成 a 、b 、c 、d……，省略无关列 delete_at 等，数据类型统一为 VARCHAR(255)……

CSV 表头也替换成 e 、f 、g 、h……

一切不影响讨论的信息，都可以抹去

应该没啥办法吧？斯诺登十年前都说了，只要知道你的电子邮件，他就能知道有关于你的一切

国外要求实名的地方应该比国内少吧？但人家都能拿到这么多数据，你想怎么抵抗呢？

@touchmii 怎么应对预留后门呢？比如，当年棱镜门那种？

搞得定系统，那芯片层面的怎么办呢？

加密算法的漏洞，个人能堵得上吗？

感觉安全只是针对其他个人或小团体而言。在大机器面前应该抵抗不了啥

@la0wei 要不给出一些等价的表结构？这样方便用 SQL 或者 Python 交流嘛

比如：

数据库：data 表，字段：id INT, a VARCHAR(255), b VARCHAR(255), c VARCHAR(255), ...
CSV：condition_a, condition_b, condition_c, ...

当前 Python 代码：

...

@la0wei 你的原始问题是啥？

有个 CSV ，里面是书籍查询请求？（每一行是一个请求，列是 warehouse 、category 、subcategory 等？）

对于每一个请求，你按要求的过滤条件，去数据库搜索符合的书目数据，保存到独立的 CSV 里？


1. 那你说的“重用上一次查询获取的数据”，意思是想重用 1999 次？

2. 还是说，每个请求，有 6 种或 12 种过滤条件？你想重用 5 次或 11 次？

3. 过滤条件一定是严格的包含关系吗？（一定是 北京仓、北京仓计算机类、北京仓计算机类数据库类 这种层层递进？）

4. 数据库数据量有多少？


目前能想到的几种办法：

1. 每次查询，只查出 id （此时你可用 len(ids) 获取总数），然后再根据 id 查出详细数据。（查过的直接用缓存。如果数据总量不大，甚至可以缓存整个 2000 行 CSV 的结果）

2. 如果 过滤条件是严格的包含关系，可以用 WITH AS + 物化查询？

3. 如果是一次性任务，换用 pandas （要求数据库数据量不大）或其他数据库可能更快（如 SQLite 、DuckDB ，十倍差距都有可能）

@Yuesh1 @albin504 能不能根据过去放假数据，总结规律，预测出未来的假期呢？（假设节日种类及放假调休天数不变）

@whooami 如果你不介意额外占用 10 倍空间，你可以用《闭包表》。

一条 SELECT 就能查出某个节点的所有祖先节点，而且是顺序查询，速度非常快。

我以前发过一个[帖子](/t/889443)，讨论过这种数据库表结构。

@la0wei 加个 (warehouse, category, subcategory) 索引，应该能快很多吧？

> 我根据一个 csv 查询相关信息，整个文件跑完要 3 个多小时

你的 CSV 有多少数据呢？而且，MySQL 能直接查询 CSV ？

什么时候 ChatGPT 能写出日赚一万的程序出来？要求一运行就打款到支付宝等。

能做出来了，被替代就被替代呗。

做不出来，怎么指望它能胜任其他任务呢？

为啥“找回密码”和“搜索账号”会遍历全表？？

@sunmoon1983 你要多少秒内出结果呢？

@7911364440 比如，100W 数据里，只有 1 个城市户籍、1 个男性、1 个 2022 的，那算式是 1 - (100W - 1) - (100W - 1) ？还是咋算的？

@jones2000 我也感觉是，就算一行需要 1KB ，全部放进内存也才不到 1GB ，for 一百万次实际就连 Python 都不会很慢

如果只挑可能用到的字段出来，一百万行可能也只用到几十 MB 内存即可

@yasea @agui2200 能不能抽出可能用到的字段，建个小小的覆盖索引呢？

比如，（行政编码, 性别, 年份, 年龄, 项目 ID ），看起来一行只需 5+10+1+2+1+4+8 = 31 字节，100W 行索引只需 30 MB

如果不指定『当前地区』，扫全部索引也能满足各种查询需求。
如果指定了『当前地区』，可能只需扫几百上千行，几百 KB 的索引即可统计出来。

@sunmoon1983 你查询的 SQL 是怎么写的呢？

如果取值范围是 0 ~ 100 ，一个三维坐标可以映射到一个 0 ~ (101^3-1) 的整数，后面就是生成不重复的随机整数就好

如果换成 bitmap 存储，大概只需 16 KB 内存即可？

这种 `shs=(`find ./core* `)` 方式，文件名有空格就出错了。。