目前有这么个需求,前台通过编辑添加网址的方式,后台的爬虫自动爬取该网址.目前的思路是前台添加的存到数据库,写个定时任务读数据库的 url,如果 url 有增加,再写个通用爬虫框架,把 url 放到通用爬虫框架里,实现自动化配置爬虫. 现在这个通用爬虫框架有点难搞啊 @__@
This topic created in 2835 days ago, the information mentioned may be changed or developed.
 |
1
aino Oct 18, 2018
我写过一个，也是前台配置好 URL，并且配置好爬取规则（ xml 格式），后台就一套爬取逻辑，遍历 xml 去执行爬取任务
|
 |
2
519718366 Oct 18, 2018
你可以借鉴下 webmagic 的产品化方案
https://github.com/code4craft/webmagic/issues/43 |
 |
5
jisibencom Oct 18, 2018 via Android
有的，scrpy 有 web 版，还有个国产的什么搜客吧，不过用了之后你会发现连火车头的 1%的便捷性都不到。
|
Select Language