This topic created in 3484 days ago, the information mentioned may be changed or developed.
如果网页 A B C D E 是相护有超链接的 那么可以很随意的爬到所有内容 可是如果 网页 Z 是一个单独的页面， 要怎么才能抓得到呢？
（就像新搭建的网站，如果不主动提交，并且不做外链，搜索引擎是怎么找到的呢？）
（就像新搭建的网站，如果不主动提交，并且不做外链，搜索引擎是怎么找到的呢？）
 |
1
v9ox Oct 13, 2016
猜测: 爬虫会去遍历 DNS Zone?
|
 |
2
binux Oct 13, 2016  1
如果知道 Z 存在，那么就能抓到
如果不知道 Z 存在，那么你怎么证明 Z 真实存在呢？ 所以问题不在于怎么抓到，而在于怎么知道 Z 存在。 |
 |
3
why1 Oct 13, 2016 via Android
你猜
|
 |
4
aeshfawre Oct 13, 2016
这不就是 google 在探索的问题么，他也在想办法解决这个问题。
|
 |
5
ITOutsider Oct 13, 2016 via iPhone
robots.txt
不让抓的不抓 其他都抓 |
 |
6
21grams Oct 13, 2016 via Android
所以就抓不到啊，谁告诉你一定能抓到 z 的
|
 |
7
BMW Oct 13, 2016
想多了
|
 |
8
tscat Oct 13, 2016 via iPhone
如果一个链接整个互联网上都没有人知道。那就认为没有这个链接。
|
 |
9
qiayue PRO 有的网站，上线几年了，都在搜索引擎搜索不到，因为作者只是写给自己看，除了浏览器和作者等，没人知道这个网站的存在
|
 |
10
pi1ot Oct 13, 2016 via iPhone
360 有办法抓到
|
 |
12
cyang PRO 如果找到了，你该想一下是不是自己的浏览器或是电脑中的其他软件把自己的隐私泄露了。
|
Select Language