找回密码
 加入怎通
查看: 284|回复: 1

相似词检索,近义词查询,同义词大全,这里不仅仅可查中文(相似的近义词是什么 标准答案)

[复制链接]
我来看看 发表于 2023-03-06 00:12:28 | 显示全部楼层 |阅读模式
% g6 a: R: T) j7 w

大概一年前,我在AINLP的公众号对话接口里基于腾讯800万大的词向量配置了一个相似词查询的接口:腾讯词向量和相似词、相似度、词语游戏系列相似词查询:玩转腾讯 AI Lab 中文词向量玩转腾讯词向量:词语相似度计算和在线查询

' }& ?% e0 }: ]6 t

腾讯词向量实战:通过Annoy进行索引和快速查询玩转腾讯词向量:Game of Words(词语的加减游戏)词向量游戏:梅西-阿根廷+葡萄牙=?通过这个接口,可以直接输入“相似词 自然语言处理"查询“自然语言处理

5 x! s3 R( v# b7 ?/ p

”的相近词:

5 p; L z5 \( B

不过我们也发现,有不少用户直接输入"近义词 词语", "同义词 词语" 查询相似词,严格的说,基于词向量的相似词不能代表语言学意义上的近义词、同义词,但是可以匹配上一些近义词、同义词,甚至反义词,所以可以作为一个参考,由人来自己选择其中的近义词、同义词或者反义词,例如:

m' n4 _6 Z; _! N e

最近,这个功能又升级了,基于自动语言识别以及更多语言的词向量,不仅仅可以查询中文,还可以查询英文、日文等其他语言,基本上,主流的语言查询都覆盖了,感兴趣的朋友可以试试,例如:

4 \5 r2 p/ f6 s8 N

这些模型里,除了中文模型继续沿用腾讯词向量外,其他的是我很早之前基于维基百科的语料训练的,现在利用起来作为其他语言的查询支持,不过,因为绝大多数语言我都不懂,所以也可能会有错误至于词向量模型,现在的选择远比当时丰富,如果是需要中文词向量,可以选择腾讯800万词向量,现在地址有所变化:。

: f4 O/ f, r# X

Tencent AI Lab Embedding Corpus for Chinese Words and Phrases(https://ai.tencent.com/ailab/nlp/zh/embedding.html

8 y3 n$ i+ z% \" K: k* }

)或者参考:上百种预训练中文词向量:Chinese-Word-Vectors如果需要多种语言的,可以参考:Pre-trained word vectors of 30+ languages(https://

& X8 e- A! Q3 Y, b" @

github.com/Kyubyong/wordvectors)最后推荐一个Awsome系列,这里面有很多关于词嵌入模型的相关学习资源:https://github.com/Hironsan/awesome-embedding-models

. {* i) V7 z& i+ K8 K- p1 G7 y' s: n, E1 y - w. q6 l0 X* H) k! h: t' y' G, N: T8 [+ h7 W5 H* g; x # N' ^" m9 s: l" H( p2 V5 I
回复

使用道具 举报

4006602627 发表于 2026-01-24 21:41:23 | 显示全部楼层
刚好遇到类似问题,看完这个帖子心里有底了
回复 支持 反对

使用道具 举报

    您需要登录后才可以回帖 登录 | 加入怎通

    本版积分规则

    QQ|手机版|小黑屋|网站地图|真牛社区 ( 苏ICP备2023040716号-2 )

    GMT+8, 2026-3-24 20:18 , Processed in 0.370431 second(s), 22 queries , Gzip On.

    免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系420897364#qq.com(把#换成@)删除。

    Powered by Discuz! X3.5

    快速回复 返回顶部 返回列表