半路出家的野生程序员,最近在写一个 python 爬虫。
数据源来自多个网站,针对每一个网站写了一个类。
程序运行时,需要用到多个不同的数据库链接,还有针对不同网站的不同的 headers。我把这些参数都放在了一个
config.py 文件中。
还会用到一些自己写的常用的方法,比如字符串处理,时间处理,或者打日志等。我把这些方法放在一个
tools.py 文件中。
这两个文件都放在项目的根目录下,然后在每一个类中引入这两个文件。
现在,我觉得,这种处理方式不太好。
首先是数据库的密码都是明文的,每一个 headers 都写成了很长的字典。
另外我觉得,把常用的方法这样写,也不太妥当。
有没有前辈能指点一下,该怎么优化?提前谢谢大家。
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
https://www.v2ex.com/t/543435
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.