06

固有表現認識(Named Entity Recognition)

固有表現認識(NER)は、テキストから人名、地名、組織名などの固有表現を抽出するタスクです。

6.1 ルールベース・辞書ベース手法

pygeonlp(geonlp-platform/pygeonlp):日本語テキストのジオタギング(地名の認識・位置情報付与)に特化したPythonモジュール。Star数22、週間171ダウンロード。

entitypedia(chakki-works/entitypedia):Wikipediaから抽出された固有名詞辞書。Star数13。

pygeonlp
pygeonlp(geonlp-platform/pygeonlp):日本語テキストのジオタギング(地名の認識・位置情報付与)に特化したPythonモジュール。Star数22、週間171ダウンロード。
22 171/w
entitypedia
entitypedia(chakki-works/entitypedia):Wikipediaから抽出された固有名詞辞書。Star数13。
13

6.2 BERTベースの固有表現認識

ツール名 Star数 特徴
bert-ner-japanese 5 BERTファインチューニングによるNER
bert-japanese-ner-finetuning 11 BERTのNERファインチューニングサンプル
namaco 40 文字ベースNER
huggingface-finetune-japanese 16 エンコーダ・デコーダのファインチューニング

namacoはchakki-worksによる文字ベースの固有表現認識ツールであり、Star数40とNERカテゴリで高い知名度を持っています。

bert-ner-japanese
BERTファインチューニングによるNER
5
bert-japanese-ner-finetuning
BERTのNERファインチューニングサンプル
11
namaco
文字ベースNER
40
huggingface-finetune-japanese
エンコーダ・デコーダのファインチューニング
16

6.3 医療情報の固有表現認識

MedNER-J(sociocom/MedNER-J):日本語の疾患名抽出ツール。Star数18。医療テキストからの情報抽出に特化しています。

JaMIE(racerandom/JaMIE):日本語医療情報抽出ツールキット。Star数9。

MedNER-J
MedNER-J(sociocom/MedNER-J):日本語の疾患名抽出ツール。Star数18。医療テキストからの情報抽出に特化しています。
18
JaMIE
JaMIE(racerandom/JaMIE):日本語医療情報抽出ツールキット。Star数9。
9

6.4 地理情報

jageocoder(t-sagara/jageocoder):Pure Pythonの日本の住所ジオコーダー。Star数109、週間8kダウンロード。

jageocoder
jageocoder(t-sagara/jageocoder):Pure Pythonの日本の住所ジオコーダー。Star数109、週間8kダウンロード。
109 8k/w

Hugging Faceにおける日本語NERモデル

モデル名 HF DL数 Like数 特徴
bert-base-japanese-v3-ner-wikipedia-dataset (llm-book) 8k 11 Wikipedia NERデータで微調整
bert-ner-japanese (jurabi) 5k 11 8エンティティタイプ対応
xlm-roberta-ner-japanese (tsmatz) 4k 28 XLM-RoBERTaベース

bert-ner-japanese(jurabi)は5k/weekダウンロードで、token-classificationカテゴリではllm-bookのWikipedia NERモデル(8k/week)に次ぐ利用数を示しています。cl-tohoku/bert-base-japanese-v2をベースにStockmark Wikipediaデータセットで学習され、企業・組織・施設・製品・イベントなど8種類のエンティティを抽出します。

yomi-linter-modernbert-ja-130mはModernBERT-Ja-130mをファインチューニングし、OpenJTalk・piper-plus・VOICEVOXなどのG2P/辞書ベースTTSで誤読されやすいスパンを事前検出するモデルです(再現率約80%、動的INT8量子化対応)。NERの応用範囲が音声合成の前処理にまで広がっていることを示す例です。


bert-base-japanese-v3-ner-wikipedia-dataset (llm-book)
Wikipedia NERデータで微調整
8k 11
bert-ner-japanese (jurabi)
8エンティティタイプ対応
5k 11
xlm-roberta-ner-japanese (tsmatz)
XLM-RoBERTaベース
4k 28
bert-ner-japanese
bert-ner-japanese(jurabi)は5k/weekダウンロードで、token-classificationカテゴリではllm-bookのWikipedia NERモデル(8k/week)に次ぐ利用数を示しています。cl-tohoku/bert-base-japanese-v2をベースにStockmark Wikipediaデータセットで学習され、企業・組織・施設・製品・イベントなど8種類のエンティティを抽出します。