文本提取关键字有好的建议吗？

This topic created in 5274 days ago, the information mentioned may be changed or developed.

solr@apache nltk.org这些都很庞大啊

有没有好的建议想实现的是yql search.termextract的效果

相关URL
http://lucene.apache.org/solr
http://www.nltk.org/Home
http://developer.yahoo.com/yql/console/#h=select%20*%20from%20search.termextract%20where%20context%3D%22Italian%20sculptors%20and%20painters%20of%20the%20renaissance%20favored%20the%20Virgin%20Mary%20for%20inspiration%22%20and%20query%3D%22madonna%22

YQL

termextract

solr

3 replies • 1970-01-01 08:00:00 +08:00

alsotang

Jan 4, 2012

http://catb.org/~esr/faqs/smart-questions.html

reus

Jan 4, 2012

http://www.nlpir.org/?action-viewnews-itemid-211

kafka0102

Jan 4, 2012

关键字抽取的最简单思路就是计算词频（如果有语料，可以拿到idf算tf*idf），取top k的结果。但是使用的词不能是所有的词，所以需要做些处理。这个处理也就两种思路，一个是人工构造候选的主题词表（可以通过语料筛选出来），或者通过辅助程序剔除掉无意义的词。不过，要想得到更好效果，比如歧义词的处理、上下文无关的词的处理、出现频率不高但更能表现主题的词提取、主题词的粒度调整，就不是计算词频能搞定的了。只就统计词频来说，其实也用不上什么库，我也没有看到专门这样的库。