Home Sign Up Sign In
nyfwan123
V2EX  ›  问与答

需求征集 这样的产品有没有人用？

  •   
  •   nyfwan123 · Apr 14, 2022 · 1350 views
    This topic created in 1520 days ago, the information mentioned may be changed or developed.
    一个爬虫综合管理框架
    整合了常见如 github 、Twitter 、rss 等等等等采集源数据接口
    使用者只需要按照定义好的配置文件规范编写配置文件就可以零代码管理众多爬虫
    同时输出 api 、log 、task 信息等（无 GUI ）

    如果有 我就做一个（免费但不开源）
    提示：我只是提供了一个框架 并不是提供爬虫 最终某用户因为写了某目标的配置文件导致爬虫运行 与我无关
  • 爬虫
  • 文件
  • 框架
  • GUI
    6 replies
    986244073
        1
    986244073  
       Apr 14, 2022   ❤️ 1
    可以做一个
    freeup
        2
    freeup  
       Apr 14, 2022
    和八爪鱼挺像的功能 目的都是减少爬虫开发工作量
    nyfwan123
        3
    nyfwan123  
    OP
       Apr 14, 2022
    @freeup 八爪鱼是 win 下的那个软件吧 我目的是想做长任务 服务端下的 长久自运行 定时任务
    freeup
        4
    freeup  
       Apr 14, 2022   ❤️ 1
    @nyfwan123 嗯 就是 win 下面的那个软件 很久之前见过的东西 但是一直没有用过 刚才特意看了下现在支持挺多功能了 比如 云采集 自然语言处理 预制模板等等 不过楼主定位于他些许不一样 适用人群也有差别 不能算完全同质产品
    Pythoner666666
        5
    Pythoner666666  
       Apr 14, 2022
    我见过这种 一个用 go 写的
    nyfwan123
        6
    nyfwan123  
    OP
       Apr 14, 2022
    @Pythoner666666 crawlab 是吧
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2852 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 13:33 · PVG 21:33 · LAX 06:33 · JFK 09:33
    ♥ Do have faith in what you're doing.