求教,公司要重新做爬虫架构

@Trim21 那个 XXlab...
没自研能力的话, 直接套 Scrapy 或者 pyspider (貌似作者也在 V2) 也算是省心省力的, 那个前后端现成的 lab 因为源码没读过也没用过, 就不盲目推了, 不过看 demo 是挺好看的

有一次还看到个跑协程的框架, 名字记不起来了

PS:

前几天试了下 Python 并发能力, 访问 gin 在本地接口, 不知道是不是 aiohttp 有 C 加成的原因

3.7.1 (v3.7.1:260ec2c36a, Oct 20 2018, 14:57:15) [MSC v.1915 64 bit (AMD64)]

Aiohttp (没有 uvloop)
async_test: 2000 / 2000, 100.0%, cost 1.4881 seconds, 1344.0 qps.

requests+threading

2000 / 2000, 100.0%, cost 4.695 seconds, 426.0 qps.

golang, net/http
2000 / 2000, 100.00 %, cost 0.33 seconds, 5990.95 qps.

zhangslob669

Oct 22, 2019

微服务化

ClericPy

Oct 22, 2019

聚焦爬虫常见的组件就是下载器, 解析器, 存储器
此外还得考虑调度器, 代理池, 日志系统那些
避免重复数据和压力过大, 可以在解析器-存储器以及调度器-下载器之间加上消息队列服务. 以上 4 或 5 个部件统一以后, 拆起来就容易了. 必要时候下载器和解析器之间也可以缓存原始 Response
代理池得维护一份, 毕竟有些不存在的网站也要采集, 还得避免限频反爬
日志系统做好分析, 方便报警和调试

爬虫多了确实难管理, 最好还是套框架重构(舍弃旧代码)

reus

Oct 22, 2019

注意不要爬个人信息，违法

kingfalse

Oct 22, 2019 via Android

我们目前是热更新，实时下发代码编译替换

Rwing

Oct 22, 2019

c# 的 https://github.com/dotnetcore/DotnetSpider

hanbing135

Oct 22, 2019 via Android

注意坐牢啊

imxieke

Oct 22, 2019

哈哈楼上几个感觉和我心情有点像下面的我感觉要背下来了 (敲黑板)

```
什么样的爬虫是违法？
如果爬虫程序采集到公民的姓名、身份证件号码、通信通讯联系方式、住址、账号密码、财产状况、行踪轨迹等个人信息，并将之用于非法途径的，则肯定构成非法获取公民个人信息的违法行为。
除此之外，根据相关规定，对于违反国家有关规定，向他人出售或者提供公民个人信息，情节严重的，窃取或者以其他方法非法获取公民个人信息的，均可构成成“侵犯公民个人信息罪”，处三年以下有期徒刑或者拘役，并处或者单处罚金;情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。
重点关注：下列情况下，爬虫有可能违法，严重的甚至构成犯罪。

1.爬虫程序规避网站经营者设置的反爬虫措施或者破解服务器防抓取措施，非法获取相关信息，情节严重的，有可能构成“非法获取计算机信息系统数据罪”。

2.爬虫程序干扰被访问的网站或系统正常运营，后果严重的，触犯刑法，构成“破坏计算机信息系统罪”

3.爬虫采集的信息属于公民个人信息的，有可能构成非法获取公民个人信息的违法行为，情节严重的，有可能构成“侵犯公民个人信息罪”。

作者：ityouknow
链接： https://juejin.im/post/5da69acff265da5b783f1028
来源：掘金
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
```

stanjia

Oct 22, 2019

首先应熟读下法律

wangyzj

Oct 22, 2019

死亡边缘试探

mcorley

Oct 23, 2019

②相关法律依据：《刑法》第 285 条

[非法侵入计算机信息系统罪] 违反国家规定，侵入国家事务、国防建设、尖端科学技术领域的计算机信息系统的，处三年以下有期徒刑或者拘役。

[提供侵入、非法控制计算机信息系统程序、工具罪] 提供专门用于侵入、非法控制计算机信息系统的程序、工具，或者明知他人实施侵入、非法控制计算机信息系统的违法犯罪行为，而为其提供程序、工具，情节严重的，依照前款的规定处罚。

单位犯前三款罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任人员，依照该款的规定处罚。

看到了吧!别以为写了个 NB 的爬虫破解程序丢到 GitHub 上，就没事。如果被人用来从事非法勾当，你也是要坐牢滴。

ThinkCat

Oct 23, 2019

楼主快跑，小心坐牢

abcbuzhiming

Oct 23, 2019

我提醒各位，国家对之前一段时间各种隐私，保密数据被泄露，滥用现象是非常不满的，我们这边有专人来讲课提到：会展开集中整治，且整治期间是从严从重的。从严从重的啥意思，也就是只要涉及到的，不管你有没有从中牟利，东西经了你的手，都会抓你。之前对各类毒博、菠菜游戏的整治也是同样的策略，所以连网上开源的棋牌代码都消失了。所以各位，这段时间建议别碰爬虫类的东西，等风头过了再说