怎么用 php 每天自动抓取网页数据入库，目标页面需要登录，数据在页面以 table 方式呈现

This topic created in 3971 days ago, the information mentioned may be changed or developed.

可以不用那么自动，每天打开一下页面去抓取
主要难题是
1、怎么实现自动登录
2、怎么实现把表格里面的每个单元格数据读取到（然后以每行一条记录每单元格一个字段数据插入到mysql中）。-----重点是怎么读取到没单元格的数据，后面的插入我知道是很方便的。

大牛们，请问这个需要用到什么技术呢，有没有好用的框架可以直接套用啊？
非常感谢！

抓取

单元

读取

5 replies • 2015-07-24 09:29:24 +08:00

kslr

Jul 24, 2015 via Android

太白，没法讲，去看基础吧。

Tink

PRO

Jul 24, 2015 via iPhone

登陆就模拟登陆呗，表格里取值xpath不行？

em70

Jul 24, 2015

1. 登录的原理无非就是GET或者POST一个数据给服务器,成功后返回一个值保存cookie,我们知道这个原理后,模拟登录就行了,网上这种代码和资料一大把.基础的不能再基础的东西.
2.无论如何, 返回总是一个网页,去分析这个网页的HTML代码就能拿到需要的东西.

@kslr 说得对. 应该先去看基础,知道网页是怎么制作的,网络协议是什么东西,还没学会走就开始飞,人都没法跟你交流.

zencoding

Jul 24, 2015

curl + xpath

xzem

Jul 24, 2015 via Android

如楼上几位所言，但我觉得楼主还是直接用火车头这类的采集软件吧，绝对比你研究php来的快，可定制性肯定受限就是了