产品大致是用户添加关注的关键词,我们每隔一段时间从一部分预设平台抓取后提供给用户下载保存。用户只能看到自己创建的需要关注的数据(用户间不共享,因为我们的场景多个用户关注相同数据概率极低,搜索只需要字段全字匹配),后台可以根据一些字段(抓取时间范围,关键词(全字匹配),行业分类(全字匹配),抓取记录 ID 范围等)进行筛选。网站目前已经抓取了 6.6 亿条数据,单表存储,目前翻页查询非常缓慢(第一页耗时 20ms ,越往后翻页越慢),想问问有什么办法自动分表存储吗?(最新的 100 万条左右数据的访问频率远高于旧数据)
技术栈是
ASP.NET Core + Entity Framework Core 。因为搜索都只需要全字匹配,应该用不上 ES 吧?
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
https://www.v2ex.com/t/873309
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.