V2EX › MasterofNone 的所有回复 › 第 20 页 / 共 36 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 ... 16 17 18 19 20 21 22 23 24 25 ... 36

❮

❯

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

更正：dateday19010101-21001231 ，timedelta 为 1d ；

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@wxf666

dateday, geometry, element1, element2, element3, element4

geometry 大概 300 个，为经纬度的组合，精细到小数点后四位；
dateday19010101-21001331 ，timedelta 为 1d ；
element[1-3]均需要处理成滑动平均，element4 计算滑动窗口的总和，所有 elements 值域在[0, 50]

以上组合完成后需要两个处理水平重复，外加 20 种模式（即 X 2 X 20

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@wxf666 不好意思，数据给不了，原先数据是存在 csv 里面的，后面我清洗过后转成了 parquet

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@fairless #38 哈哈哈，难度一下子上来了

@nuk 我试试

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@specter119 对，我是在做 rolling ，感觉 dask 也没快到哪里去

2022 年 10 月 31 日

回复了 nii 创建的主题 › 生活 › 经历了极为诡异的一件事情……

前几天是不是有个一样的帖子？

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@wxf666
@FYFX
我去试试各位的方法，感谢

2022 年 10 月 31 日

回复了 RipL 创建的主题 › Apple TV › 最近日亚购入 Apple TV，建一个 Apple TV 交流群

就是不晓得会被会砍单

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@wxf666 level 用于构建 dataframe ，我再考虑考虑

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@FYFX #25 能具体说说吗？我这每个循环都相当于处理逻辑的实参

@liuxingdeyu #26 dask 已经这么做了

@TimePPT #27 可以 groupby ，这样的话就要涉及 multiindex 。另外我的机器内存放不下所有数据

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@zzl22100048 我再看看吧，我现在想做优化的原因在于循环内的处理逻辑一直在变动，每次变动后需要一天的时间才能算出来一个模式（还不知道对不对），我着急...
另外：
1.我确实需要全部遍历
2.每一层的迭代对象我都预处理成固定长度的对象了

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@wxf666 https://gist.githubusercontent.com/vfq/0337327cdb29538e2f39e21b9eb99deb/raw/4cb9878145e3723e1919059502e6acfdf82551c2/sample.py

差不多是这样的吧

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@featureoverload 好的，我再思考下

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@liuxingdeyu #16 f 里就是根据 list_a 遍历加载模式数据（按日排列），然后根据年份（ list_b ）及模式中的要素值计算相关指标（几乎都是加减乘除和 datetime 操作），再和定义好的界限值比较，组成新的 dataframe 返回，已经安排上了 dask ，现在是多进程、多线程在跑，但是一个模式也要跑 28h 的样子，现在想调优，但是不知道具体瓶颈是在哪儿

@wxf666 如上，现在的想法是把嵌套的循环打平，不知道先行 product 后，能不能提高执行效率

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@lolizeppelin #12 对于硬盘 IO 的循环也可以这么操作吗？

@wxf666 #13 协程给我的感觉就是难以 debug ，能不用我尽量不用

@paramagnetic #14 我现在遇到的问题就在于：需要调取同一目录下不同模式的模拟数据（大概 40 多 G ，3kw 条数据），每种模拟数据还有不同的处理水平，每个模式的数据文件中还有不同的要素，最终需要每个要素正交，分别计算。因为 pandas 只能在单核上跑，后面加上了 dask 之后还是慢，我就在想是不是要优化多层嵌套循环

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@apake #7 没考虑 GIL 的问题吗？

@MrGba2z #8 收到，我看看文档

@chaunceywe #9 好的，我研究下

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@reter
@ospider
如果业务中既有 IO 又有 cpu 密集呢？有无可能并行化 for 循环？是不是需要上协程

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@zzl22100048 #1 对于使用 product 是否能提升执行效率呢？我知道这样是减少了嵌套层数
@buyan3303 #2 我研究下，谢谢

2022 年 10 月 29 日

回复了 leavelet 创建的主题 › 服务器 › Xeon Platinum 第三代 P 结尾的和不带 P 的有啥区别？

搜下牙膏厂的文档不就有了
https://www.intel.com/content/www/us/en/support/articles/000059657/processors/intel-xeon-processors.html?wapkw=Intel%C2%AE%20Processor%20Names%20and%20Numbers

2022 年 10 月 28 日

回复了 Allonsy 创建的主题 › Python › 最近使用 pycharm 时候发现一个很奇怪的问题.

我一直有这个问题，不管是在 pycharm 还是在 gateway 下

1 ... 16 17 18 19 20 21 22 23 24 25 ... 36

❮

❯