固有表現認識(Named Entity Recognition)
固有表現認識(NER)は、テキストから人名、地名、組織名などの固有表現を抽出するタスクです。
6.1 ルールベース・辞書ベース手法
pygeonlp(geonlp-platform/pygeonlp):日本語テキストのジオタギング(地名の認識・位置情報付与)に特化したPythonモジュール。Star数22、週間171ダウンロード。
entitypedia(chakki-works/entitypedia):Wikipediaから抽出された固有名詞辞書。Star数13。
6.2 BERTベースの固有表現認識
| ツール名 | Star数 | 特徴 |
|---|---|---|
| bert-ner-japanese | 5 | BERTファインチューニングによるNER |
| bert-japanese-ner-finetuning | 11 | BERTのNERファインチューニングサンプル |
| namaco | 40 | 文字ベースNER |
| huggingface-finetune-japanese | 16 | エンコーダ・デコーダのファインチューニング |
namacoはchakki-worksによる文字ベースの固有表現認識ツールであり、Star数40とNERカテゴリで高い知名度を持っています。
6.3 医療情報の固有表現認識
MedNER-J(sociocom/MedNER-J):日本語の疾患名抽出ツール。Star数18。医療テキストからの情報抽出に特化しています。
JaMIE(racerandom/JaMIE):日本語医療情報抽出ツールキット。Star数9。
6.4 地理情報
jageocoder(t-sagara/jageocoder):Pure Pythonの日本の住所ジオコーダー。Star数109、週間8kダウンロード。
Hugging Faceにおける日本語NERモデル
| モデル名 | HF DL数 | Like数 | 特徴 |
|---|---|---|---|
| bert-base-japanese-v3-ner-wikipedia-dataset (llm-book) | 8k | 11 | Wikipedia NERデータで微調整 |
| bert-ner-japanese (jurabi) | 5k | 11 | 8エンティティタイプ対応 |
| xlm-roberta-ner-japanese (tsmatz) | 4k | 28 | XLM-RoBERTaベース |
bert-ner-japanese(jurabi)は5k/weekダウンロードで、token-classificationカテゴリではllm-bookのWikipedia NERモデル(8k/week)に次ぐ利用数を示しています。cl-tohoku/bert-base-japanese-v2をベースにStockmark Wikipediaデータセットで学習され、企業・組織・施設・製品・イベントなど8種類のエンティティを抽出します。
yomi-linter-modernbert-ja-130mはModernBERT-Ja-130mをファインチューニングし、OpenJTalk・piper-plus・VOICEVOXなどのG2P/辞書ベースTTSで誤読されやすいスパンを事前検出するモデルです(再現率約80%、動的INT8量子化対応)。NERの応用範囲が音声合成の前処理にまで広がっていることを示す例です。