stcasshern
V2EX  ›  问与答

商品名(商品描述)embedding(向量化)如何做

  •  
  •   stcasshern · Jun 4, 2018 · 2163 views
    This topic created in 2946 days ago, the information mentioned may be changed or developed.
    RT,有一个需求,就是把商品描述(不是商品 id )用向量表示,比如商品描述“天美华乳 烘焙原料 无水奶油 草原动物黄油 350ml ”。
    向量化效果考量分两方面:①比如都是“烘焙原料”,那么向量距离比较接近;②同时,可能“厨房秤”,这种经常经常一起加购物车的(类似啤酒尿布)向量也比较接近。
    个人感觉首先一个问题就是分词,“天美华乳”这个很难分出来,另外目前可能考虑①就可以,大家有什么建议吗?
    4 replies    2018-06-04 14:09:25 +08:00
    c0pper
        1
    c0pper  
       Jun 4, 2018
    不就是 word2vec 吗,分词找人工做就行。
    c0pper
        2
    c0pper  
       Jun 4, 2018
    我不知道 NER 中文的 state of the art 现在怎么样。
    stcasshern
        3
    stcasshern  
    OP
       Jun 4, 2018
    @c0pper 目前是打算 w2v 来做,先试试效果吧
    stcasshern
        4
    stcasshern  
    OP
       Jun 4, 2018
    @c0pper 像烘焙原料这种很好分,主要是很多专有词,这些暂时没有词库
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   6092 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 03:34 · PVG 11:34 · LAX 20:34 · JFK 23:34
    ♥ Do have faith in what you're doing.