爬虫工程师 - V2EX

• 外包信息请发到 /go/outsourcing 节点。

• 不要把相同的信息发到不同的节点

This topic created in 4086 days ago, the information mentioned may be changed or developed.

岗位职责
负责设计和开发分布式的网络爬虫应用，进行互联网相关信息的抓取和分析
负责与搜索技术相关的系统模块的设计、开发和维护工作，达到高效稳定的效果
负责与搜索技术相关的系统模块的设计、开发和维护工作，达到高效稳定的效果
设计爬取、调度和抽取算法，优化系统
负责抓取数据的深度提取和挖掘

任职要求
精通网页抓取原理及技术，精通正则表达式，从结构化的和非结构化的数据中获取信息
熟悉linux平台开发，具备搜索引擎开发的研究背景和项目背景
熟悉大型互联网内容搜索产品的设计, 架构, 对大数据量搜索应用有一定经验
熟悉搜索引擎和网络爬虫相关技术
熟悉Lucene/Nutch/Heritrix/HtmlParser等开源工具
熟悉hadoop并行计算和编程框架，有HDFS、HBase、Solr使用经验优先
具有数据挖掘、自然语言处理、信息检索、机器学习背景的优先

公司：北京letv
有意者可以加QQ（1581244296）私聊
http://jobs.letv.com/bigdata/details/pachong.html

爬虫

抓取

开发

5 replies • 2015-04-01 20:19:07 +08:00