python 后台跑个脚本抓某个 API 的结果，然后存入我的数据库，怎么弄比较高级、稳定、装逼

[qweweretrt515]

目前是，所有代码写在一个 py 文件里

用 requests 请求 api 的数据

然后用 sqlalchemy 存入我的数据库

运行的时候 python 123.py

虽然可以完成这个需求，但是总觉得档次有些 low ，感觉总有点不靠谱

大家平时是怎么弄的

[xss]

让我想起了生活大爆炸里发送一个信号途经各种卫星, 各大洲, 最终结果是开了自己家的一盏灯的梗.....

[Phant0m]

弄个守护进程 日志报警

[tumbzzc]

写的“庞大”一点，分好多文件，然后让人看不懂

[Ouyangan]

用 java

[upczww]

simple yet efficient 是极好的。

[ranleng]

每一个函数都写成单独的文件然后各种 import.

[popu111]

上 Redis/mongodb

[GreatMartial]

难道没有人和楼主一样，有这种感受吗？

[ieiayaobb]

上 scrapy

[meta]

要装逼很容易，把他弄成啥都可以抓，哪儿都可以入，一大堆松耦合。
虽然最后也就干这一件事。

[bazingaterry]

写个异步多进程。

[ys0290]

用意念控制它

[Senevan]

把吃饱灰的树莓派掏出来干这事😂

[exalex]

为啥楼上都是答非所问，我也想看其他方案，结果全是抖机灵的

[windfarer]

这简单，你爬虫吐给 logstash ，后面接个 elasticsearch 集群做存储，还可以搜索，高可用！装逼！

[Tink]

把函数写开

[weakiwi]

用 django+django-cron ，定时抓取，然后写个 views 展示下。再弄个 supervisor(自己写当然也好)弄个看门狗，输出个 log 。弄成系统服务

[ksc010]

1. 区分异常类型，一些网络问题原因引起的可以重试的 就重试几次，
因为接口问题引起的（比如接口变更，数据结构变了）就做好结果格式的判断，不符合就抛出异常
2. 记录详细的日志
3. 最后捕捉异常 邮件或短信报警，人工干预优化代码

[blabla]

先开发个 Python 5.0, 然后再开发个框架. 最后用这两者实现你的抓取功能. 简直不能再炫了.