Hugging Face's logo

Transformers documentation

BertJapanese

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Model ini disumbangkan ke Hugging Face Transformers pada 2020-11-16.

BertJapanese

Ikhtisar

Model-model BERT yang dilatih pada teks Jepang.

Terdapat model dengan dua metode tokenisasi yang berbeda:

  • Tokenisasi dengan MeCab dan WordPiece. Ini memerlukan beberapa dependensi tambahan, fugashi yang merupakan wrapper di sekitar MeCab.
  • Tokenisasi menjadi karakter.

Untuk menggunakan MecabTokenizer, Anda harus pip install transformers["ja"] (atau pip install -e .["ja"] jika Anda menginstal dari sumber) untuk menginstal dependensi.

Lihat detail di repositori cl-tohoku.

Contoh penggunaan model dengan tokenisasi MeCab dan WordPiece:

import torch
from transformers import AutoModel, AutoTokenizer

bertjapanese = AutoModel.from_pretrained("cl-tohoku/bert-base-japanese", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("cl-tohoku/bert-base-japanese")

## Input Japanese Text
line = "吾輩は猫である。"

inputs = tokenizer(line, return_tensors="pt").to(model.device)

print(tokenizer.decode(inputs["input_ids"][0]))
[CLS] 吾輩 は 猫 で ある 。 [SEP]

outputs = bertjapanese(**inputs)

Contoh penggunaan model dengan tokenisasi Karakter:

bertjapanese = AutoModel.from_pretrained("cl-tohoku/bert-base-japanese-char", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("cl-tohoku/bert-base-japanese-char")

## Input Japanese Text
line = "吾輩は猫である。"

inputs = tokenizer(line, return_tensors="pt").to(model.device)

print(tokenizer.decode(inputs["input_ids"][0]))
[CLS] 吾 輩 は 猫 で あ る 。 [SEP]

outputs = bertjapanese(**inputs)

Model ini disumbangkan oleh cl-tohoku.

Implementasi ini sama dengan BERT, kecuali untuk metode tokenisasi. Lihat dokumentasi BERT untuk informasi referensi API.

BertJapaneseTokenizer

kelas transformers.BertJapaneseTokenizer

< >

( vocab_filespm_file = Nonedo_lower_case = Falsedo_word_tokenize = Truedo_subword_tokenize = Trueword_tokenizer_type = 'basic'subword_tokenizer_type = 'wordpiece'never_split = Noneunk_token = '[UNK]'sep_token = '[SEP]'pad_token = '[PAD]'cls_token = '[CLS]'mask_token = '[MASK]'mecab_kwargs = Nonesudachi_kwargs = Nonejumanpp_kwargs = None**kwargs )

Parameter

  • vocab_file (str) — Path ke file kosakata dengan satu wordpiece per baris.
  • spm_file (str, opsional) — Path ke file SentencePiece (umumnya memiliki ekstensi .spm atau .model) yang berisi kosakata.
  • do_lower_case (bool, opsional, default True) — Apakah akan mengubah input menjadi huruf kecil. Hanya berpengaruh ketika do_basic_tokenize=True.
  • do_word_tokenize (bool, opsional, default True) — Apakah akan melakukan tokenisasi kata.
  • do_subword_tokenize (bool, opsional, default True) — Apakah akan melakukan tokenisasi subword.
  • word_tokenizer_type (str, opsional, default "basic") — Jenis word tokenizer. Pilih dari [“basic”, “mecab”, “sudachi”, “jumanpp”].
  • subword_tokenizer_type (str, opsional, default "wordpiece") — Jenis subword tokenizer. Pilih dari [“wordpiece”, “character”, “sentencepiece”,].
  • mecab_kwargs (dict, opsional) — Kamus yang diteruskan ke konstruktor MecabTokenizer.
  • sudachi_kwargs (dict, opsional) — Kamus yang diteruskan ke konstruktor SudachiTokenizer.
  • jumanpp_kwargs (dict, opsional) — Kamus yang diteruskan ke konstruktor JumanppTokenizer.

Konstruksi tokenizer BERT untuk teks Jepang.

Tokenizer ini mewarisi dari PreTrainedTokenizer yang berisi sebagian besar metode utama. Pengguna harus merujuk ke superclass ini untuk informasi lebih lanjut mengenai metode-metode tersebut.

convert_tokens_to_string

< >

( tokens )

Mengonversi urutan token (string) dalam satu string.

Update on GitHub

←BertGeneration BERTweet→