命名实体识别
命名实体识别(NER)是从文字中提取人名、地名、组织名等命名实体的任务。
6.1 基于规则与词典的方法
pygeonlp(geonlp-platform/pygeonlp):专门用于日语文字地理标记(识别地名并赋予位置信息)的 Python 模块。Stars:22,周间下载:171。
entitypedia(chakki-works/entitypedia):从 Wikipedia 提取的专有名词词典。Stars:13。
6.2 基于 BERT 的命名实体识别
| 工具名 | Stars | 说明 |
|---|---|---|
| bert-ner-japanese | 5 | 透过 BERT 微调进行 NER |
| bert-japanese-ner-finetuning | 11 | BERT NER 微调范例 |
| namaco | 40 | 基于字元的 NER |
| huggingface-finetune-japanese | 16 | 编码器-解码器微调 |
namaco 是由 chakki-works 开发的基于字元的命名实体识别工具,Stars:40,在 NER 类别中知名度高。
6.3 医疗信息 NER
MedNER-J(sociocom/MedNER-J):日语疾病名称提取工具。Stars:18。专门用于从医疗文字中提取信息。
JaMIE(racerandom/JaMIE):日语医疗信息提取工具包。Stars:9。
6.4 地理信息
jageocoder(t-sagara/jageocoder):纯 Python 的日语地址地理编码器。Stars:109,周间下载:8k。
Hugging Face 上的日语 NER 模型
| 模型名 | HF 下载 | 点赞数 | 说明 |
|---|---|---|---|
| bert-base-japanese-v3-ner-wikipedia-dataset (llm-book) | 8k | 11 | 在 Wikipedia NER 数据上微调 |
| bert-ner-japanese (jurabi) | 5k | 11 | 支援 8 种实体类型 |
| xlm-roberta-ner-japanese (tsmatz) | 4k | 28 | 基于 XLM-RoBERTa |
bert-ner-japanese(jurabi)以 5k/周的下载数,在 token-classification 类别中仅次于 llm-book 的 Wikipedia NER 模型(8k/周)。它以 cl-tohoku/bert-base-japanese-v2 为基础,在 Stockmark Wikipedia 数据集上训练,可抽取企业、组织、设施、产品、事件等 8 种实体类型。
yomi-linter-modernbert-ja-130m 微调 ModernBERT-Ja-130m,用于检测 OpenJTalk、piper-plus、VOICEVOX 等基于 G2P/词典的 TTS 系统容易误读的文字区段(召回率约 80%,并支援动态 INT8 量化)。这是命名实体识别应用范围延伸至语音合成前处理的一个例子。