V2EX › coderhxl 的所有回复 › 第 4 页 / 共 7 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 2 3 4 5 6 7

❮

❯

2024 年 4 月 23 日

回复了 blueeon 创建的主题 › 程序员 › 试验结束！开源项目一个月得到了 447 个 star！

@ttentau1 厉害啊，有机会也可以试试 x-crawl 获取数据，https://github.com/coder-hxl/x-crawl

2024 年 4 月 23 日

回复了 keyboardCat 创建的主题 › 程序员 › vue 学了两个月了还不会，是否不太适合前端这条路

得先打好基础，html css js 得牢固，不然在学 Vue 过程中还要去补基础，这样效率很低的

2024 年 4 月 23 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@MapleEve OK ，Dify 还没了解过，有机会可以瞧瞧，搞开源还是蛮消耗精力的

2024 年 4 月 23 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@gongquanlin 基本的设备指纹也够用

2024 年 4 月 23 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@teenthsch gpt4 跟 gpt3 对比还是很听话的

2024 年 4 月 23 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@changz 现在用 AI 成本高但以后不一定

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@charslee013 这个得试了才能知道，如果有好的建议也会采纳的

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@jianyang 并且这种方式貌似不适用于通用型爬虫，适用于特定网站。

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@jianyang AI 主要是能够更好地应对网站更新后类名或结构改变的问题，并且 AI 还能根据要求筛选数据等操作。

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@topang 可以自己封装一个方法，需要的时候调用就行了

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@tinyzilan123 就看使用者怎么用了

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@tinyzilan123 对的，所以有另一种解决方案，二者结合，第一次爬取的时候缓存路径，后面让传统爬虫用缓存路径的，如果错误就调用 AI 重新获取路径再缓存。这样既不用担心网站更新导致爬虫工作失败，也避免浪费 token

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@bubble21 当时我也考虑到加上这个，用 puppeteer 获取页面截图，上传截图给 AI 提取内容。

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@bubble21 这是个很不错的点子，现在暂不支持，后续会考虑加上哦

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@CAze 原理差不多是这样，但是如果仅仅是告诉 AI 要拿哪些数据，效果可能还不是很好

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@terranboy 不太能理解你这个问题

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@terranboy URL 就是根啊，没了根用哪种方式都没用

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@zhangfeiwudi AI 辅助爬虫，算是让 AI 筛选数据

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@terranboy 依赖于固定的规则或模式来抓取网页数据的爬虫不也是这样，而且一旦网站进行更新，改变了原有的类名、标签或结构，传统爬虫就会因为无法识别新的元素而失效，导致数据抓取失败或错误。AI 辅助爬虫能够智能地分析和理解网页内容，从而更准确地定位并提取所需信息。通过自然语言处理等技术，它们能够理解网页的语义信息，从而更精确地定位所需数据，即使网站进行了更新，AI 辅助爬虫也能继续有效地抓取数据。当然成本也很高

2024 年 4 月 22 日

回复了 coderhxl 创建的主题 › 推广 › 传统爬虫还是 AI 辅助爬虫？该怎么选？

@kevin1452 目前咱们是将 HTML 交给 AI 通过自然语言提取数据，结合 AI 技术的爬虫能够更好地应对网站更新后类名或结构改变的问题。像代理，设备指纹 x-crawl 也有，只是并非这篇文章的主题就没有写，https://coder-hxl.github.io/x-crawl/cn/guide/#features 可以瞧瞧这里

1 2 3 4 5 6 7

❮

❯