Mizuiro-sakura/luke-japanese-large-finetuned-ner

このモデルはluke-japanese-largeをファインチューニングして、固有表現抽出（NER）に用いれるようにしたものです。

このモデルはluke-japanese-largeを Wikipediaを用いた日本語の固有表現抽出データセット(ストックマーク社、https://github.com/stockmarkteam/ner-wikipedia-dataset )を用いてファインチューニングしたものです。

固有表現抽出（NER）タスクに用いることができます。

This model is fine-tuned model for Named-Entity-Recognition(NER) which is based on luke-japanese-large

This model is fine-tuned by using Wikipedia dataset.

You could use this model for NER tasks.

モデルの精度 accuracy of model

全体：0.8453191098032002

	precision	recall	f1-score	support
その他の組織名	0.78	0.79	0.79	238
イベント名	0.83	0.88	0.85	215
人名	0.88	0.89	0.89	546
地名	0.83	0.85	0.84	440
政治的組織名	0.80	0.84	0.82	263
施設名	0.79	0.84	0.81	241
法人名	0.88	0.89	0.89	487
製品名	0.79	0.80	0.79	252
micro avg	0.83	0.86	0.85	2682
macro avg	0.82	0.85	0.83	2682
weighted avg	0.83	0.86	0.85	2682

How to use 使い方

sentencepieceとtransformersをインストールして (pip install sentencepiece , pip install transformers) 以下のコードを実行することで、NERタスクを解かせることができます。 please execute this code.

from transformers import MLukeTokenizer,pipeline, LukeForTokenClassification

tokenizer = MLukeTokenizer.from_pretrained('Mizuiro-sakura/luke-japanese-large-finetuned-ner')
model=LukeForTokenClassification.from_pretrained('Mizuiro-sakura/luke-japanese-large-finetuned-ner') # 学習済みモデルの読み込み

text=('昨日は東京で買い物をした')

ner=pipeline('ner', model=model, tokenizer=tokenizer)

result=ner(text)
print(result)

what is Luke?　Lukeとは？[1]

LUKE (Language Understanding with Knowledge-based Embeddings) is a new pre-trained contextualized representation of words and entities based on transformer. LUKE treats words and entities in a given text as independent tokens, and outputs contextualized representations of them. LUKE adopts an entity-aware self-attention mechanism that is an extension of the self-attention mechanism of the transformer, and considers the types of tokens (words or entities) when computing attention scores.

LUKE achieves state-of-the-art results on five popular NLP benchmarks including SQuAD v1.1 (extractive question answering), CoNLL-2003 (named entity recognition), ReCoRD (cloze-style question answering), TACRED (relation classification), and Open Entity (entity typing). luke-japaneseは、単語とエンティティの知識拡張型訓練済み Transformer モデルLUKEの日本語版です。LUKE は単語とエンティティを独立したトークンとして扱い、これらの文脈を考慮した表現を出力します。

Acknowledgments　謝辞

Lukeの開発者である山田先生とStudio ousiaさんには感謝いたします。 I would like to thank Mr.Yamada @ikuyamada and Studio ousia @StudioOusia.

Citation

[1]@inproceedings{yamada2020luke, title={LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention}, author={Ikuya Yamada and Akari Asai and Hiroyuki Shindo and Hideaki Takeda and Yuji Matsumoto}, booktitle={EMNLP}, year={2020} }