06

命名實體識別

命名實體識別(NER)是從文字中提取人名、地名、組織名等命名實體的任務。

6.1 基於規則與詞典的方法

pygeonlp(geonlp-platform/pygeonlp):專門用於日語文字地理標記(識別地名並賦予位置資訊)的 Python 模組。Stars:22,週間下載:171。

entitypedia(chakki-works/entitypedia):從 Wikipedia 提取的專有名詞詞典。Stars:13。

pygeonlp
pygeonlp(geonlp-platform/pygeonlp):專門用於日語文字地理標記(識別地名並賦予位置資訊)的 Python 模組。Stars:22,週間下載:171。
entitypedia
entitypedia(chakki-works/entitypedia):從 Wikipedia 提取的專有名詞詞典。Stars:13。

6.2 基於 BERT 的命名實體識別

工具名 Stars 說明
bert-ner-japanese 5 透過 BERT 微調進行 NER
bert-japanese-ner-finetuning 11 BERT NER 微調範例
namaco 40 基於字元的 NER
huggingface-finetune-japanese 16 編碼器-解碼器微調

namaco 是由 chakki-works 開發的基於字元的命名實體識別工具,Stars:40,在 NER 類別中知名度高。

bert-ner-japanese
透過 BERT 微調進行 NER
5
bert-japanese-ner-finetuning
BERT NER 微調範例
11
namaco
基於字元的 NER
40
huggingface-finetune-japanese
編碼器-解碼器微調
16

6.3 醫療資訊 NER

MedNER-J(sociocom/MedNER-J):日語疾病名稱提取工具。Stars:18。專門用於從醫療文字中提取資訊。

JaMIE(racerandom/JaMIE):日語醫療資訊提取工具包。Stars:9。

MedNER-J
MedNER-J(sociocom/MedNER-J):日語疾病名稱提取工具。Stars:18。專門用於從醫療文字中提取資訊。
JaMIE
JaMIE(racerandom/JaMIE):日語醫療資訊提取工具包。Stars:9。

6.4 地理資訊

jageocoder(t-sagara/jageocoder):純 Python 的日語地址地理編碼器。Stars:109,週間下載:8k。

jageocoder
jageocoder(t-sagara/jageocoder):純 Python 的日語地址地理編碼器。Stars:109,週間下載:8k。

Hugging Face 上的日語 NER 模型

模型名 HF 下載 按讚數 說明
bert-base-japanese-v3-ner-wikipedia-dataset (llm-book) 8k 11 在 Wikipedia NER 資料上微調
bert-ner-japanese (jurabi) 5k 11 支援 8 種實體類型
xlm-roberta-ner-japanese (tsmatz) 4k 28 基於 XLM-RoBERTa

bert-ner-japanese(jurabi)以 5k/週的下載數,在 token-classification 類別中僅次於 llm-book 的 Wikipedia NER 模型(8k/週)。它以 cl-tohoku/bert-base-japanese-v2 為基礎,在 Stockmark Wikipedia 資料集上訓練,可抽取企業、組織、設施、產品、事件等 8 種實體類型。

yomi-linter-modernbert-ja-130m 微調 ModernBERT-Ja-130m,用於偵測 OpenJTalk、piper-plus、VOICEVOX 等基於 G2P/辭典的 TTS 系統容易誤讀的文字區段(召回率約 80%,並支援動態 INT8 量化)。這是命名實體識別應用範圍延伸至語音合成前處理的一個例子。


bert-base-japanese-v3-ner-wikipedia-dataset (llm-book)
在 Wikipedia NER 資料上微調
8k 11
bert-ner-japanese (jurabi)
支援 8 種實體類型
5k 11
xlm-roberta-ner-japanese (tsmatz)
基於 XLM-RoBERTa
4k 28