• 请不要在回答技术问题时复制粘贴 AI 生成的内容
www6688w
V2EX  ›  程序员

最近正在学习 Go,想写一个爬虫来练练手,希望大家出个好点子

  •  
  •   www6688w · Aug 27, 2019 · 6971 views
    This topic created in 2478 days ago, the information mentioned may be changed or developed.

    最近正在学习 Go,想写一个爬虫来练练手。

    但是不知道该爬些什么,大家有没有什么建议的目标站点或者好玩的点子,都可以提出来。

    这个主要是练习和玩,写完之后代码会直接开源。

    37 replies    2019-08-29 09:43:12 +08:00
    meik2333
        1
    meik2333  
       Aug 27, 2019   ❤️ 1
    upczww
        2
    upczww  
       Aug 27, 2019 via Android
    爬携程,美团,淘宝,这些都非常好爬
    ylsc633
        3
    ylsc633  
       Aug 27, 2019
    我曾入行时学习 php 的时候 用 php 的 cUrl 趴了 达盖尔 板块的图!
    Ritter
        4
    Ritter  
       Aug 27, 2019
    @upczww 好爬+1
    siriussilen
        5
    siriussilen  
       Aug 27, 2019
    @Ritter 好爬+2
    TomStark
        6
    TomStark  
       Aug 27, 2019
    @ylsc633 开,往城市边缘开
    www6688w
        7
    www6688w  
    OP
       Aug 27, 2019
    @upczww 淘宝防爬不是很厉害麽,大兄弟 (⊙ˍ⊙)
    cxsz
        8
    cxsz  
       Aug 27, 2019
    豆瓣 爬电影信息,评分,观影人数啥的
    Rorshach
        9
    Rorshach  
       Aug 27, 2019
    @www6688w 没有吧,我半年前爬的时候只要带上 cookies+代理就可以了
    roryzh
        10
    roryzh  
       Aug 27, 2019   ❤️ 1
    jav
    default7
        11
    default7  
       Aug 27, 2019
    为什么不是 py
    skiy
        12
    skiy  
       Aug 27, 2019 via Android
    fivestrong
        13
    fivestrong  
       Aug 27, 2019 via iPhone
    爬 dmm 吧,整个电影库。
    XxxxD
        14
    XxxxD  
       Aug 27, 2019
    从自己兴趣出发啊
    misaka19000
        15
    misaka19000  
       Aug 27, 2019
    写啥爬虫啊,没什么技术含量
    rayhy
        16
    rayhy  
       Aug 28, 2019 via Android
    写个 golang 版本的 rsshub 吧,能考验下自己怎么组织代码,怎么设计 API,怎么方便别人帮你写某个网站的爬虫。
    herozzm
        17
    herozzm  
       Aug 28, 2019
    @siriussilen 好爬+3
    mumbler
        18
    mumbler  
       Aug 28, 2019
    爬 youtube 所有带中文字幕的视频
    MMMMMMMMMMMMMMMM
        19
    MMMMMMMMMMMMMMMM  
       Aug 28, 2019
    某 hub 视频
    omph
        20
    omph  
       Aug 28, 2019
    微信、微博、豆瓣等资源大户
    ctro15547
        21
    ctro15547  
       Aug 28, 2019
    国内外各种大秀直播平台的流媒体地址抓取,做个整合,做成 api,外接个播放工具,或者动手写写安卓,就取名叫 XX 聚合直播吧,放墙外收费,到手的钱,写个监控各挖矿币种走势的爬虫,自动买币,一条龙
    snoopygao
        22
    snoopygao  
       Aug 28, 2019
    @herozzm 好爬+4
    sadfQED2
        23
    sadfQED2  
       Aug 28, 2019 via Android
    https://github.com/Jinnrry/getAwayBSG 上次看见的,跟进一下?
    sadfQED2
        24
    sadfQED2  
       Aug 28, 2019 via Android
    @snoopygao 好爬+5
    qq7790586
        25
    qq7790586  
       Aug 28, 2019
    顺便借楼问下,爬虫是 python 还是 go 好呢?
    ClericPy
        26
    ClericPy  
       Aug 28, 2019
    golang 实现其他语言的著名 爬虫框架, 主要是模仿 API 或者架构
    或者最简单的模仿其他语言的好用的 http 请求库, 主要了解下设计和命名方式
    或者实现 curlparse, 也就是 curl string 和 struct 互转

    边看边学, 最简单的还是直接照抄 Github 已有项目, 很多时候自己摸索的进度完全不如直接看好代码, 刚入门多学学别人的设计和风格比自己瞎写有用得多
    mozutaba
        27
    mozutaba  
       Aug 28, 2019
    @upczww 还有公众号也非常适合入门
    tushile928
        28
    tushile928  
       Aug 28, 2019
    爬可用 6 位数以内域名
    andy1ee11o2
        29
    andy1ee11o2  
       Aug 28, 2019
    Fanza
    amwyyyy
        30
    amwyyyy  
       Aug 28, 2019
    我之前刚玩的时候把某 h 网站的图片全下了
    encro
        31
    encro  
       Aug 28, 2019
    网易考拉 趁倒闭前收集 SKU 分析分析
    laravel
        32
    laravel  
       Aug 28, 2019
    p 站(p**nh*b)视频中文留言
    None123
        33
    None123  
       Aug 28, 2019
    @Rorshach 不会有假数据吗?
    www6688w
        34
    www6688w  
    OP
       Aug 28, 2019
    @qq7790586 看个人习惯吧,,我比较喜欢 Go 这种类型的,不过 py 可能会简单一些
    qiuBiLiBiLima
        35
    qiuBiLiBiLima  
       Aug 28, 2019
    大神,求抖音视频批量去水印下载,GitHub 上之前有个大神做过,1000 多个 star,但是现在好像不维护了,求大神接力做下去
    qiuBiLiBiLima
        36
    qiuBiLiBiLima  
       Aug 28, 2019
    大神,求抖音视频批量去水印下载,GitHub 上之前有个大神做过,1000 多个 star,但是现在好像不维护了,求大神接力做下去 这个是地址 https://github.com/loadchange/amemv-crawler
    roryzh
        37
    roryzh  
       Aug 29, 2019
    @amwyyyy 我给某 x 网全视频都下了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   923 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 87ms · UTC 20:36 · PVG 04:36 · LAX 13:36 · JFK 16:36
    ♥ Do have faith in what you're doing.