半路出家的野生程序员,最近在写一个 python 爬虫。
数据源来自多个网站,针对每一个网站写了一个类。
程序运行时,需要用到多个不同的数据库链接,还有针对不同网站的不同的 headers。我把这些参数都放在了一个 config.py 文件中。
还会用到一些自己写的常用的方法,比如字符串处理,时间处理,或者打日志等。我把这些方法放在一个 tools.py 文件中。
这两个文件都放在项目的根目录下,然后在每一个类中引入这两个文件。
现在,我觉得,这种处理方式不太好。
首先是数据库的密码都是明文的,每一个 headers 都写成了很长的字典。
另外我觉得,把常用的方法这样写,也不太妥当。
有没有前辈能指点一下,该怎么优化?提前谢谢大家。
数据源来自多个网站,针对每一个网站写了一个类。
程序运行时,需要用到多个不同的数据库链接,还有针对不同网站的不同的 headers。我把这些参数都放在了一个 config.py 文件中。
还会用到一些自己写的常用的方法,比如字符串处理,时间处理,或者打日志等。我把这些方法放在一个 tools.py 文件中。
这两个文件都放在项目的根目录下,然后在每一个类中引入这两个文件。
现在,我觉得,这种处理方式不太好。
首先是数据库的密码都是明文的,每一个 headers 都写成了很长的字典。
另外我觉得,把常用的方法这样写,也不太妥当。
有没有前辈能指点一下,该怎么优化?提前谢谢大家。