每次运行都需要读取很多数据，请教如何操作比较合适？

现在在测试一些想法，目前的程序是每次运行的时候，总要读取公司生产环境的数据库中的数据。只是读取使用，没有其他。

如果全部读取，大约 3G 左右 的内存占用，网络速度不是很快。直接用数据接口读取耗时很久。

程序是 python 写的，接受参数是一个 pandas 的 Panel ，程序内部是做了一个循环，一条一条的 feed 过去。

我的基本想法是能不能就直接就存到内存中，反正数据量也不大，这样就省去网络下载的开销。

现在能想到的就是把整个表给下载下来，保存成 csv 文件，然后本地读取。
这样一来，每次调试 /运行的时候， python 读取 G 级别大的 csv 也要耗时一点(不过比从数据库读快多了）。

1.感觉这中解决方法很 dirty ，一点不优美。

2.也有同事会有同样的需求，总不能每台机器上都自备 csv 吧。

希望各位多多指教。