Java 做爬虫怎么学习元素定位？有没有教程或者方法指点一二？

爬虫还是建议 Python ，你实在讨厌 Python 用 Go 也行。不是说 Java 不好，没那个生态，你非要搞的话，事倍功半。

浏览器 F12->Elements->选中元素右键->Copy xpath, Copy js path ,Copyxxxxxxxx

@rqxiao 这个我学长也教我这么用，但是对于一个列表来说，他的 Xpath 不是会随着列表变化一直增加的吗？这样的话写出来的代码还具有通用性吗？还是说干脆来个 for 循环自己拼接 Xpath 语句？

@ospider #1 用 selenium 哪个语言无所谓吧，api 都一样。

元素定位找 XPath 教程，再了解几个常见的 ExpectedConditions 就够了，实在不行还能像 2 楼那样直接右键复制。

@tiRolin 可以找到固定的列表元素，有办法获得它的儿子节点

@tiRolin 定位这个列表，然后遍历这个列表后继续在这个基础上解析。不明白的话，看看 scrapy 的 selector 怎么处理的。和一楼一样，我也建议使用 Python 。

@rqxiao 像这样吗？
for (int i = 0; i < elements.size(); i++) {
elements.get(i).findElement(By.xpath("//复制来的 xpath 路径"));
//此处进行业务逻辑
}
elements 指的是元素的集合

@tiRolin #3 XPath 是可以一次性返回所有符合条件元素的，比如某个 ul 或者 ol 下面的所有 li ，在 Selenium 对应的就是 findelements by.xpath ，//ul[@id="xxx"]//li ，取下来的就是所有的 li 元素，一个 for 循环取数据就行了。
甚至，你直接在这个页面 F12 ，然后控制台敲 $x('//div[@class="reply_content flod"]') 都能把所有的回复的 div 给选出来。

我就是用 java 的。用了 Jsoup 。和传统的 jquery 差不多。反正就是通过各种选择器定位元素。

附上 pom 和示例代码：

<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.13.1</version>
</dependency>

String html = EntityUtils.toString(response.getEntity(), "UTF-8").replace("&nbsp;", " ");
Document document = Jsoup.parse(html);
List<Element> trs = document.selectFirst("[class=onbuildshow]").selectFirst("[class=onbuildshow_contant colordg ft14]").selectFirst("[class=sjtd]").select("tr");

推荐使用 Jsoup

元素定位看经验的。考虑网页未来可能出现的情况，尽量通过父子节点+文字含义定位。比如：'//label[contains(text(), "信用代码")]/following-sibling::input/@value'

webmagic