06

命名实体识别

命名实体识别(NER)是从文字中提取人名、地名、组织名等命名实体的任务。

6.1 基于规则与词典的方法

pygeonlp(geonlp-platform/pygeonlp):专门用于日语文字地理标记(识别地名并赋予位置信息)的 Python 模块。Stars:22,周间下载:171。

entitypedia(chakki-works/entitypedia):从 Wikipedia 提取的专有名词词典。Stars:13。

pygeonlp
pygeonlp(geonlp-platform/pygeonlp):专门用于日语文字地理标记(识别地名并赋予位置信息)的 Python 模块。Stars:22,周间下载:171。
entitypedia
entitypedia(chakki-works/entitypedia):从 Wikipedia 提取的专有名词词典。Stars:13。

6.2 基于 BERT 的命名实体识别

工具名 Stars 说明
bert-ner-japanese 5 透过 BERT 微调进行 NER
bert-japanese-ner-finetuning 11 BERT NER 微调范例
namaco 40 基于字元的 NER
huggingface-finetune-japanese 16 编码器-解码器微调

namaco 是由 chakki-works 开发的基于字元的命名实体识别工具,Stars:40,在 NER 类别中知名度高。

bert-ner-japanese
透过 BERT 微调进行 NER
5
bert-japanese-ner-finetuning
BERT NER 微调范例
11
namaco
基于字元的 NER
40
huggingface-finetune-japanese
编码器-解码器微调
16

6.3 医疗信息 NER

MedNER-J(sociocom/MedNER-J):日语疾病名称提取工具。Stars:18。专门用于从医疗文字中提取信息。

JaMIE(racerandom/JaMIE):日语医疗信息提取工具包。Stars:9。

MedNER-J
MedNER-J(sociocom/MedNER-J):日语疾病名称提取工具。Stars:18。专门用于从医疗文字中提取信息。
JaMIE
JaMIE(racerandom/JaMIE):日语医疗信息提取工具包。Stars:9。

6.4 地理信息

jageocoder(t-sagara/jageocoder):纯 Python 的日语地址地理编码器。Stars:109,周间下载:8k。

jageocoder
jageocoder(t-sagara/jageocoder):纯 Python 的日语地址地理编码器。Stars:109,周间下载:8k。

Hugging Face 上的日语 NER 模型

模型名 HF 下载 点赞数 说明
bert-base-japanese-v3-ner-wikipedia-dataset (llm-book) 8k 11 在 Wikipedia NER 数据上微调
bert-ner-japanese (jurabi) 5k 11 支援 8 种实体类型
xlm-roberta-ner-japanese (tsmatz) 4k 28 基于 XLM-RoBERTa

bert-ner-japanese(jurabi)以 5k/周的下载数,在 token-classification 类别中仅次于 llm-book 的 Wikipedia NER 模型(8k/周)。它以 cl-tohoku/bert-base-japanese-v2 为基础,在 Stockmark Wikipedia 数据集上训练,可抽取企业、组织、设施、产品、事件等 8 种实体类型。

yomi-linter-modernbert-ja-130m 微调 ModernBERT-Ja-130m,用于检测 OpenJTalk、piper-plus、VOICEVOX 等基于 G2P/词典的 TTS 系统容易误读的文字区段(召回率约 80%,并支援动态 INT8 量化)。这是命名实体识别应用范围延伸至语音合成前处理的一个例子。


bert-base-japanese-v3-ner-wikipedia-dataset (llm-book)
在 Wikipedia NER 数据上微调
8k 11
bert-ner-japanese (jurabi)
支援 8 种实体类型
5k 11
xlm-roberta-ner-japanese (tsmatz)
基于 XLM-RoBERTa
4k 28