V2EX › coderhxl 的所有回复 › 第 5 页 / 共 7 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 2 3 4 5 6 7

❮

❯

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@CAze 好办法，可以讲解一下思路不

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@ashuai 这样既能体验 AI 的便捷，又消耗不那么大

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@ashuai 也可以这么做，第一次爬取的时候缓存路径，后面让传统爬虫用缓存路径的，如果错误就调用 AI 重新获取路径再缓存。

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@GeekGao 哈哈，毕竟自己动手还是挺麻烦的

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@1018ji 我都要，传统爬虫 + AI ，毕竟将整个 Body 传进去还是消耗很大的

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@MapleEve 示例中用的也是传统爬虫 + AI ，毕竟将整个 Body 传进去还是消耗很大的

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@clemente 文章太长也没办法，要不咱看看前言和总结部分的内容，也感谢您的评论哈

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

感谢各位大佬的评论和提供的建议！

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@luozic 对的，x-crawl 也有很多功能能稳定爬取到数据，像重试，代理，设备指纹... 可以瞧瞧这里 https://coder-hxl.github.io/x-crawl/cn/guide/#features

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@barat puppeteer 用于模仿人类的行为，当然也可以用其他的获取页面内容

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@hahahaii 但是还是要考虑生成的函数如何应对通用爬虫的场景

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@triangle111 对的，所以最好两者结合起来用，可以先获取 Body ，然后对 Body 内的一些元素进行删除，特别是 script 和 svg 这两个的内容，内容越多消耗的资源也就越多，而且还没啥用。这样就能以最小的代价利用 AI 爬取数据。

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@ayang23 好方法，只是解析函数是如何应对通用爬虫的场景

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@624144061 好滴

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@fank99 可以这么理解，像依赖类名或结构这些元素的爬虫不也是对页面解析提取数据

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@herozzm 这里也是筛选了部分 html 给 AI 进行提取数据

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@maolon 传统爬虫可能是一个更经济的选择，文章也有提到

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@zephyru 也是个不错的方法

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@624144061 感谢您，https://coder-hxl.github.io/x-crawl/cn/guide/create-ai-application 这里可以免费领 api key

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@enson110 要不咱看看总结那部分，“传统爬虫可能是一个更经济、更直接的选择”

1 2 3 4 5 6 7

❮

❯