当前在做的课题研究涉及到了 ipfs 的相关研究 ,我现在需要获取大量的 ipfs 地址(最好是良性网站,恶意网站的样本比较充足),其实本质的就是获取 ipfs 服务的 CID ,例如
https://ipfs.io/ipfs/bafybeigddnp66y6qbn2ut3uvnlpxqtt5qmi3pcaiwrfhcxfd3ng7a3gese/
https://bafybeibq2cmpzycufvodx7i7yrrw4xl67t5wql22l7j5a6pbghu5pfrcje.ipfs.dweb.link/
说白了就是需要大量有效的那一串 CID ,那些一个 CID 下面带有大量路径的页面(比如镜像 Wikipedia )不是我想要的, 最好对应的资源是 html ,现在已经尝试的方法包括:
- CommonCrawl (基本都是一个固定的 CID 下面的 wiki 子页面,不符合需求)
- Fofa (没搜到,可能搜索姿势不对?)
- URLSCAN (虽然有不少,但是都是恶意网站,需要的是良性数据集)
- DNSLink (可以通过 DNS 的 TXT 记录得到 CID ,之前可以通过合作单位获取 114 服务器的解析记录,但是现在做不到了,不知道 DNSLink 这条路还有没有可行的办法)