怎样用程序分辨一个“词”是中文日文还是韩文？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 5353 天前的主题，其中的信息可能已经有所发展或是发生改变。

韩文

日文

中文

13 条回复 • 1970-01-01 08:00:00 +08:00

Livid

MOD

PRO

2011-03-06 20:00:00 +08:00 via iPhone

把这个词放到 3 本辞典里搜索。

darasion

2011-03-06 20:13:30 +08:00

@Livid 囧，那还是算了。我放弃。

Sam

2011-03-06 20:42:41 +08:00

有些词在日语和中文都同时有，比如“宿舍”，“派出所”：）

darasion

2011-03-06 20:54:14 +08:00

@Sam 嗯，是的。以前火车司机的工作日志就叫：“司机手帐”。日语“手帐”也是这个意思。

lianghai

2011-03-06 22:15:52 +08:00 via iPhone

基本也就是靠字典了。另外可以通过识别 CJK 各自的独有字符来协助提高效率；并且如果如果有上下文而少有外语引用的话，可以在不确定的情况下进一步检查上下文……

est

2011-03-06 22:17:40 +08:00

cjk已经被unicode统一了，基本只有看词频来区分了

apoclast

2011-03-06 22:20:37 +08:00

@est 我也这样认为

2011-03-06 22:24:30 +08:00

调用 Google 翻译的语言检测？

Livid

MOD

PRO

2011-03-06 22:25:21 +08:00

@dc 嗯，Google 翻译的 auto 模式很不错。

ayanamist

2011-03-06 22:35:21 +08:00

Polyglot 3000效果很好，不过貌似只有桌面版……
http://whatlanguageisthis.com/ 的效果一般

eric

2011-03-06 22:41:17 +08:00

http://code.google.com/intl/en/apis/language/translate/v1/using_rest_langdetect.html

bruce

2011-03-06 23:04:37 +08:00

判断每个字的UTF编码范围, 看哪个范围的字数多

tysx

2011-03-16 12:55:42 +08:00

对这个词用各自语言独有的字符集转码，比如说用gbk和shift-jis去分别中日文，不报错就说明是