求助, 提取 html 内容相关

lzlee · 2020-02-22T04:12:51Z

抱歉, 实在不清楚要发到哪个节点有这么一个需求我通过 chrome 开发者工具, 截取了某个网页的元素我想通过某种手段, 截取到元素的子元素我想通过某种手段, 截取到元素的属性或者内容我会一点 java, python 和 shell, 这些我都可以去尝试, 当然其他的也行输入是一段 html, 以及我的条件, 比如定制路径, 是否带外标签, 输出是文字疑问感觉像是 html 页面里, 提取特定元素, 属性, 内容中间可能会有 html 元素路径的指定, 和其他一些过滤感觉这种事, 之前肯定有人做过, 我是第一次接触, 但是感觉没啥门路感谢各位大佬

This topic created in 2300 days ago, the information mentioned may be changed or developed.

抱歉, 实在不清楚要发到哪个节点

有这么一个需求

我通过 chrome 开发者工具, 截取了某个网页的元素
我想通过某种手段, 截取到元素的子元素
我想通过某种手段, 截取到元素的属性或者内容
我会一点 java, python 和 shell, 这些我都可以去尝试, 当然其他的也行
输入是一段 html, 以及我的条件, 比如定制路径, 是否带外标签, 输出是文字

疑问

感觉像是 html 页面里, 提取特定元素, 属性, 内容
中间可能会有 html 元素路径的指定, 和其他一些过滤
感觉这种事, 之前肯定有人做过, 我是第一次接触, 但是感觉没啥门路

感谢各位大佬

HTML

元素

截取

提取

18 replies • 2020-02-25 00:05:31 +08:00

learningman

Feb 22, 2020 via Android

xpath，了解一下
或者 css 选择器

Procumbens

Feb 22, 2020

BeautifulSoup?

xiri

Feb 22, 2020

用 python 做，lxml、BeautifulSoup 等都能实现你的要求（其实你的需求就是爬虫的数据清洗部分要干的事）

7huixiang

Feb 22, 2020

听着像文章采集器呢

Hansah

Feb 22, 2020 via Android

火车采集器，最高效易学的了

omph

Feb 22, 2020

简单的可以用 shell
https://github.com/coderobe/hq

itechify

PRO

Feb 22, 2020 via Android

JAVA 中建议用 jsoup，和 jquery 一把梭一样，很简单。并且，xpath 有时候因为页面的元素不标准，导致解析不了，jsoup 没有这个问题

tlday

Feb 22, 2020

tlday

Feb 22, 2020

https://pythonhosted.org/pyquery/

U7Q5tLAex2FI0o0g

Feb 22, 2020

解析 html 的轮子非常多，基本各大语言都有，你有这发帖时间都找到了。
1 楼的说的两个，搜索一下你就知道了

lis66951735

Feb 22, 2020

java jsoup , python BeautifulSoup

TangMonk

Feb 22, 2020

@littleylv #10 可惜 Pascal 的轮子比较少

yuenc

Feb 22, 2020

nodejs puppeteer

crella

Feb 23, 2020 via Android

……我都是自己切割字符串查找文本的，我接触的网页比较简单……

lzlee

Feb 24, 2020

感谢各位大佬的回复, 我挨个试试, 有效果的话, 会给反馈

lzlee

Feb 24, 2020

@siknet
感谢大佬
火车我之前当做开发的时候用过, 功能确实很强大,
当时记得是做一个比价网站, 从各个购物网站上爬价格, 然后比较
刚刚看了看, 发现火车采集器是个收费软件, 而且我的需求只是满足自己的一些好奇心
大概是在尝试理解一类用户的思考方式和语言风格, 目前还只停留在很初级的阶段
等真的哪天需要了, 再买个火车吧

Hansah

Feb 24, 2020 via Android

火车采集器有免费版的啊，一般用足够了，注册个账号而已
@lzlee

lzlee

Feb 25, 2020

@siknet 还真有...谢谢大佬