V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
This topic created in 1076 days ago, the information mentioned may be changed or developed.
随机浏览器头和限速都试了。还是被封。代理 ip 也找不到很多
 |
1
vcbal May 22, 2023
你看下是不是有特殊的接口，或者特殊的 http 头，这个是根据网站来，不同网站不同的反爬机制
|
 |
2
brader May 22, 2023
禁不禁你 IP ，是看别人网站开发者的反爬机制决定的，不是你能控制的
|
 |
3
qrobot May 22, 2023  3
参照隔壁 v2explus, 分布式爬虫, 每人每天执行任务
|
 |
4
cosmain May 22, 2023
策略：“如果一个 IP 五分钟内访问了 1000 个页面，禁止 ip 访问 24 小时”
这任你怎么折腾都不行，除非换 ip |
 |
5
glfpes May 22, 2023
单 ip 是不可能做爬虫的
|
 |
6
cnrting May 22, 2023 via iPhone
这是能问的吗🐶
|
 |
7
8355 May 22, 2023
爬的本质就是增加成本破解反爬
反爬的本质就是通过增加爬的成本来反爬 |
 |
8
dawn009 May 22, 2023
随机浏览器头有可能特征更明显。有些 UA 在正常用户中是很少见的，足够触发反爬规则了。
|
 |
9
blankmiss May 22, 2023
代理池即可
|
 |
10
ding2dong May 22, 2023
无解，掏钱上动态代理 ip
|
 |
11
maxssy May 22, 2023
用别人的 IP
|
 |
12
gablic May 22, 2023
网上买代理 ip 资源吧
|
 |
13
cherryas May 22, 2023
爬网站的 ipv6 地址 (有的概率很低)
|
 |
14
locochen May 22, 2023
欢迎试用 `https://www.bright.cn/`
|
 |
15
Jf35jxN3fwBXyeLh May 22, 2023
@locochen 你这是国外那个 brightdata 中文版吗，还是国内人新搞的？
|
Select Language