我的 python 脚本执行时间长了，他就卡着不动，好久才动一次

This topic created in 4008 days ago, the information mentioned may be changed or developed.

写了个脚本，用来拉取远程服务器上的数据，然后存入本地，

然后我执行 python get1.py

拉取了才5w多

脚本就卡了不动

要好几分钟才动一下

我以为是远程数据库挂了，于是新开一个窗口执行 python get1.py 速度飞快

那就正面不是远程和本地数据库的问题

是终端窗口内存用光了吗

可是我的脚本就是要让他长期运行呀，这才拉了几万个记录，就卡成这样了

那我有好几十万的数据量怎么办呀

大家有解决办法吗

Supplement 1 · Jul 5, 2015

我的核心代码贴在这里的 http://paste.ubuntu.com/11824534/

Supplement 2 · Jul 5, 2015

我的代码是这个 http://paste.ubuntu.com/11824534/

从代码上来看应该是没有问题，后来我加了个判断，就是offset 可以整除10000的时候就休息10秒 [也就是每次同步1w个数据，就休息10秒] ，但还是不行，还是会在5w左右的数据量出现卡住的情况

而且每次都在 5w左右卡住

所以我现在怀疑是远程数据库做了什么限制

但是我不知道怎么办了

Supplement 3 · Jul 5, 2015

会不会是mysql 对每个会话的数据量做了什么限制啊

Supplement 4 · Jul 5, 2015

刚才查看了 mysql rds 后台的数据

他对 IOPS 限制到200的刚才我看他已经用了100% 也就是用光了

是不是这个用光了啊

不过
我每秒也没有到200次啊啊

现在我测试了超市10秒，再看看，10秒没有反映是不是会重新连接

期待上帝保佑

Supplement 5 · Jul 5, 2015

现在我差不多找到问题原因了

是因为到了 5w左右

sql语句变成了

SELECT * FROM table ORDER BY modified ASC LIMIT 52600,100

我网上搜了，说这样的话，数据库会扫描52600行数据，所以慢，
我参考的文章是 http://www.fienda.com/archives/110

但是我这个是根据时间戳来拉数据的，所以不能用id 来排除

我要想想怎么用时间戳缩小范围

Supplement 6 · Jul 5, 2015

[结贴]

谢谢大家

现在我找到问题所在了，
是数据库的问题
我重新发了个帖子， http://www.v2ex.com/t/203463

麻烦懂mysql的朋友帮我看看谢谢

脚本

get1.py

远程

17 replies • 2015-07-05 16:08:52 +08:00

qq2549112

Jul 5, 2015

经过简单排查，发现是查询语句获取结果速度很慢

查询到了5w多，继续查询的话，获取数据的时间会很长，应该不可能是网络问题

因为我新开终端再次运行这个脚本，他跑的很快

我猜测，是不是远程数据库因为这个连接查询的数据量太多了，所以需要休息太累了

20015jjw

Jul 5, 2015 via Android

试试查询的时候给一个timeout呢

Gandum

Jul 5, 2015 via iPad

上代码

kenken

Jul 5, 2015

talk is cheap, show me the code

qq2549112

Jul 5, 2015

@Gandum
@kenken
谢谢
我的代码是这个 http://paste.ubuntu.com/11824534/ 从代码上来看应该是没有问题，后来我加了个判断，就是offset 可以整除10000的时候就休息10秒 [也就是每次同步1w个数据，就休息10秒] ，但还是不行，还是会在5w左右的数据量出现卡住的情况

而且每次都在 5w左右卡住

所以我现在怀疑是远程数据库做了什么限制

但是我不知道怎么办了

benjiam

Jul 5, 2015 via Android

为什么不在5万以后断开继续

qq2549112

Jul 5, 2015

@benjiam 谢谢提醒，那我试试这个方法嘿嘿

imn1

Jul 5, 2015

如果总是在固定数量出现问题，多数是
1.远端某个环节有数量限制
2.内存
3.到特定某条数据有问题

如果是数据库的问题，只能自己解决
在代码的不同运行阶段，适当加一些delete语句，把不再使用的大数据变量扔给GC自动回收
远程要用 IP
那个for可以改成表达式
最好拖数据和数据处理分开，拖到本地再处理，不要处理完再拖
多进程拖

qq2549112

Jul 5, 2015

@imn1 谢谢，我的for 改成什么表达式呀，我是新手哦，我觉得for 好像是比较正常的

这个托数据以后，处理也很简单的，也就是插入到本地另一个数据库，不耽误时间的

imn1

Jul 5, 2015

@qq2549112
生成器表达式、列表表达式、字典表达式～
去看看书吧，表达式比循环使用更少资源，更快，大量数据区别很明显

qq2549112

Jul 5, 2015

@imn1 谢谢

lucky2touch

Jul 5, 2015

你这需求是做增量备份？不知道原表是如何设计的，排序的消耗是很大的，除了索引之外，类似的处理方法从设计上来说还有表分区啥的。

Gandum

Jul 5, 2015 via iPhone

这个代码应该没啥问题，不如每5W的时候就close，然后再重建连接试试？

Gandum

Jul 5, 2015 via iPhone

反正肯定不是内存问题，python在你不引用的时候会自动进行垃圾收集

qq2549112

Jul 5, 2015

@lucky2touch 谢谢，需求是实时的增量备份到另外一个数据库 [mysql to postgresql]

我重新发了个帖子， http://www.v2ex.com/t/203463

感谢前辈

wy315700

Jul 5, 2015

你给时间戳加一个索引看看

qq2549112

Jul 5, 2015

@Gandum 谢谢现在我找到问题所在了，是数据库的问题我重新发了个帖子， http://www.v2ex.com/t/203463