自己想做一个咨询采集站，类似于多个新闻站点的聚合。
我想到的思路肯定是需要 python 写爬虫去采集，是用 bs 库吗？但是目标站点网页结构发生变化，我岂不是又要更新一次代码？
我想在 web 端爬取规则搞成可配置的形式，但是感觉有点复杂。有没有更好的方法？
目前只会一些 django。如果要实现这种新闻聚合站点，应该学一些什么？
目前会的技术栈有：java,springboot,python,django,vue,jquery,bootstrap.
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 2402 days ago, the information mentioned may be changed or developed.
 |
1
zhenruyan Nov 28, 2019
你这么问的时候 就证明了 你上述说的技术栈 大部分没那么会叭。
|
 |
2
dreamerlv3ex Nov 28, 2019
Axure
|
 |
3
ibirdyuan Nov 28, 2019
别想太多，先实现吧，快速搞一版 demo 出来哪怕再重构也不会太费时，光想很容易就想没了
|
 |
4
U87 Dec 6, 2019
我之前做过类似，前台可编辑爬虫规则，爬取网站有哪些等，后台会唤醒爬虫，当然暂时不考虑网页结构发生变化
|
Select Language