 |
1
cloudzhou Nov 6, 2013
这种情况不一定是python读取文件的问题，你可以先实现一个python脚本，只读取到内存，什么都不做，看看需要占用多少内存
|
 |
2
yuelang85 Nov 6, 2013
应该是把数据转换成python对象造成的开销吧
|
 |
3
flyaway OP 机子内存只有4g，有没有什么解决方案呢？
|
|
5
flyaway OP 把读取过程做成生成器，然后在生成器之上对每条数据进行类型转换，这样会不会减少内存消耗呢？我现在在上课，只能暂时和大家纸上谈兵了…
|
 |
7
sethverlo Nov 6, 2013  1
我记得好像「python range xrange」这个关键词可以帮到楼主。
|
|
8
flyaway OP 可是现在的模型算法需要把训练数据整体传过去，内存消耗不可避免，可是我不明白的是，为什么600多m的数据在内存中成为python对象之后会占用如此之多的内存
|
 |
9
lookhi Nov 6, 2013
又想马儿跑的快，又想马儿不吃草。
难啊 |
 |
10
chlx Nov 6, 2013 via Android
我也遇到类似的问题，是用ndarray的两个矩阵拼接时内存开销很大，数据量大时机器吃不消
|
 |
11
dreampuf Nov 6, 2013
反序列化带来的开销
|
Select Language