qwertty01
V2EX  ›  问与答

Twitter 反爬措施很牛逼啊,有没有大佬指点一下?

  •  1
     
  •   qwertty01 · Oct 10, 2018 · 5269 views
    This topic created in 2798 days ago, the information mentioned may be changed or developed.

    主要是想获取某个推主的全部推文。

    如果只爬推文限制几百条的样子。

    爬推文和回复没有限制,但是爬虫很容易被检测出来,该设置的都设置了 UA,header,cookie

    有没有大佬指点一下?

    比如这个 https://twitter.com/i/profiles/show/realDonaldTrump/timeline/with_replies?include_available_features=1&include_entities=1&max_position=1049635559000469504&reset_error_state=false

    2 replies    2018-10-10 15:03:26 +08:00
    whileFalse
        1
    whileFalse  
       Oct 10, 2018
    twitter 有 api 啊。
    qwertty01
        2
    qwertty01  
    OP
       Oct 10, 2018
    @whileFalse twitter api 有限制啊 获取历史推文是企业级的 api
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1096 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 39ms · UTC 18:42 · PVG 02:42 · LAX 11:42 · JFK 14:42
    ♥ Do have faith in what you're doing.