将数据存到 mysql 并且写入到 txt 文件中做筛选功能

2019-09-11 12:51:52 +08:00
 kayseen
需求:
	1.每一分钟记录一次某个区域的温度、湿度等信息,
	2.需要查询的信息:
		1.这个区域的 1 小时之内的温度、湿度等信息的变化,按每分钟展示
		2.这个区域的 7 天的同一时刻的温度、湿度等变化(比如近七天的 13 点 13 分的数据)

按照将数据写入 txt 文件的方式,
我是应该将当天的数据存到 mysql,然后再将数据从 mysql 存到 txt 中, (不知道怎么在第二天将前一天的数据存在 txt 中...)
然后再使用 pandas 筛选七天数据(目前还不知道 pandas 能不能实现这种筛选功能...)

请问这种方案算得上好吗?
如果可以的话,上面的两个疑问麻烦也解答下
2538 次点击
所在节点    Python
4 条回复
opengps
2019-09-11 13:05:16 +08:00
温度采集器数据库设计发过贴,果然还是你
7 天同一时刻,数据库索引到位,循环读取 7 次就可以满足需求了
你打开文件流读取 txt 的效率未必有直接读取数据库高
另外你采集器的采集频率未必严格准确,应当使用时间过滤取 top1 的形式,需要允许某一天的 13 点 13 分没有数据去 13 点 12 分数据代替
markgor
2019-09-11 13:53:53 +08:00
写入 TXT 是不是有点多余?如果是必须写入的,那写入 MYSQL 和 txt 应该是同时进行,
基础数据有了做筛选时候通过 mysql 查询出来就行了。
crohn
2019-09-11 14:01:13 +08:00
时序数据库,了解一下
Jeffrey4l
2019-09-11 18:41:58 +08:00
promtheus? 试试

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/599986

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX