05

情感分析与文字分类

5.1 基于词典的情感分析

工具名 周间下载 累计下载 Stars 说明
oseti 169 178k 99 基于日语情感极性词典
pymlask 107 68k 119 基于 ML-Ask 的情感分析

oseti 是基于岩波书店日语情感极性词典的情感分析工具,虽然是基于规则的方法,仍能轻松判断日语文字的正负面情感。

pymlask 是一个基于情感词典 ML-Ask 的工具,能够判断「喜悦」、「悲伤」、「愤怒」等多种情感类别。

oseti
基于日语情感极性词典
99 169/w
pymlask
基于 ML-Ask 的情感分析
119 107/w

5.2 基于机器学习的情感分析

工具名 周间下载 累计下载 Stars 说明
asari 91 84k 153 日语情感分析器
negapoji - - 152 负面/正面判断

asari 在情感分析类别中知名度最高,Stars:153。内建机器学习模型,通过简单的 API 即可进行情感分析。

asari
日语情感分析器
153 91/w
negapoji
负面/正面判断
152

5.3 BERT 微调方法

近年来,针对情感分析任务对预训练 BERT 模型进行微调的方法正逐渐成为主流。

  • Japanese-BERT-Sentiment-Analyzer:使用 FastAPI 和 BERT 的情感分析服务器
  • japanese_text_classification:调查包含 MLP、CNN、RNN 及 BERT 在内的多种 DNN 方法

JGLUE 基准测试中包含情感分析相关任务,能够对基于 BERT 的方法进行标准评估。

Hugging Face 上的情感分析模型

在 Hugging Face 的文字分类类别中,已发布多个针对日语情感分析进行微调的模型。

模型名 HF 下载 点赞数 说明
bert-finetuned-japanese-sentiment (christian-phu) 329k 16 以亚马逊评论训练;准确率约 81%
japanese-sentiment-analysis (jarvisx17) 4k 15 以 chABSA 数据集训练
bert-base-japanese-v2-wrime-fine-tune (patrickramos) 1k 6 WRIME 8 情感强度预测

bert-finetuned-japanese-sentiment 以 329k 的周间下载数在 text-classification 类别中使用量最大,它在亚马逊商品评论上微调 cl-tohoku/bert-base-japanese-v2,报告准确率约 81%、F1 分数 0.73。

bert-base-japanese-v2-wrime-fine-tune 在 WRIME 数据集上进行微调,能够针对喜悦、悲伤、期待、惊讶、愤怒、恐惧、厌恶及信任等八种情感,分别预测书写者与读者视角的强度分数(0~4)。


bert-finetuned-japanese-sentiment (christian-phu)
以亚马逊评论训练;准确率约 81%
329k 16
japanese-sentiment-analysis (jarvisx17)
以 chABSA 数据集训练
4k 15
bert-base-japanese-v2-wrime-fine-tune (patrickramos)
WRIME 8 情感强度预测
1k 6