关于爬虫拖库的一些疑惑

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 4139 days ago, the information mentioned may be changed or developed.

像http://epub.sipo.gov.cn/gjcx.jsp 这个网站，通过关键词检索能否遍历它数据库里面所有的项目？如果可以的话，这种网站的拖库是不是挺容易的？

爬虫

疑惑

关于

6 replies • 2015-02-07 21:52:03 +08:00

arkilis

Feb 7, 2015

但是你怎么知道这个是数据库中所有的内容呢。

拖库就是一点不剩给拖下来。拖：音调一声

wdlth

Feb 7, 2015

这个只能叫抓取、采集数据，真正的拖库不只是数据，还要有关系。

R4rvZ6agNVWr56V0

Feb 7, 2015

理论上是可以获取到所有专利文档数据的，但数据库中的表结构、关系你是“拖”不出来的。

professorz

Feb 7, 2015

@arkilis 嗯，我发现了点bug，比如搜索1985年的数据，“只勾选发明公布”和“四项都勾选”两种情况下，得到的发明公布的数量不一样！奇怪~~

professorz

Feb 7, 2015

@GeekGao 感觉上这种数据库好像没什么表关系。。。甚至4张表就能包含所有数据。。

R4rvZ6agNVWr56V0

Feb 7, 2015

@professorz 你跑题了，我是说他们的数据库本身，而不是如何设计这个系统。。。