Commit
•
b90ef8e
1
Parent(s):
8c92b1b
Update README.md
Browse files
README.md
CHANGED
|
@@ -69,7 +69,7 @@ model = MobileBertForSequenceClassification.from_pretrained("ysakuramoto/mobileb
|
|
| 69 |
- 学習方法
|
| 70 |
- Google ColabからTPUを用いて学習しました。
|
| 71 |
1. IB-BERT<sub>LARGE</sub>をlr=5e-4で1Mステップ学習しました。
|
| 72 |
-
1. IB-BERT<sub>LARGE</sub
|
| 73 |
- トータルで2ヶ月半くらいかかりました。。エラー出まくってつらかったです。
|
| 74 |
|
| 75 |
# ライセンス
|
|
|
|
| 69 |
- 学習方法
|
| 70 |
- Google ColabからTPUを用いて学習しました。
|
| 71 |
1. IB-BERT<sub>LARGE</sub>をlr=5e-4で1Mステップ学習しました。
|
| 72 |
+
1. IB-BERT<sub>LARGE</sub>を240kステップ蒸留後、mobileBERTをlr=5e-4で2Mステップ学習しました。
|
| 73 |
- トータルで2ヶ月半くらいかかりました。。エラー出まくってつらかったです。
|
| 74 |
|
| 75 |
# ライセンス
|