Menggunakan spaCy di Hugging Face

spaCy adalah pustaka populer untuk pemrosesan bahasa alami tingkat lanjut yang banyak digunakan di berbagai industri. spaCy memudahkan penggunaan dan pelatihan pipeline untuk tugas-tugas seperti pengenalan entitas bernama, klasifikasi teks, penandaan part of speech, dan lainnya, serta memungkinkan Anda membangun aplikasi yang kuat untuk memproses dan menganalisis volume teks yang besar.

Menjelajahi model spaCy di Hub

Model resmi dari spaCy 3.3 tersedia di Halaman Organisasi spaCy. Siapa pun di komunitas juga dapat membagikan model spaCy mereka, yang dapat Anda temukan dengan memfilter di bagian kiri halaman model.

Semua model di Hub dilengkapi dengan fitur-fitur yang berguna

1. Kartu model yang dihasilkan secara otomatis dengan skema label, metrik, komponen, dan lainnya.
2. Bagian evaluasi di kanan atas tempat Anda dapat melihat metrik.
3. Tag metadata yang membantu keterdapatannya dan berisi informasi seperti lisensi dan bahasa.
4. Widget interaktif yang dapat Anda gunakan untuk bermain langsung dengan model di browser
5. Widget Inference Providers yang memungkinkan Anda membuat permintaan inferensi.

Menggunakan model yang sudah ada

Semua model spaCy dari Hub dapat diinstal secara langsung menggunakan pip install.

pip install "en_core_web_sm @ https://huggingface.co/spacy/en_core_web_sm/resolve/main/en_core_web_sm-any-py3-none-any.whl"

Untuk menemukan tautan yang dimaksud, Anda dapat membuka repositori dengan model spaCy. Saat Anda membuka repositori tersebut, klik Use in spaCy dan Anda akan diberikan potongan kode yang berfungsi untuk menginstal dan memuat model!

Setelah diinstal, Anda dapat memuat model sebagai pipeline spaCy mana pun.

# Using spacy.load().
import spacy
nlp = spacy.load("en_core_web_sm")

# Importing as module.
import en_core_web_sm
nlp = en_core_web_sm.load()

Berbagi model Anda

Menggunakan CLI spaCy (disarankan)

Perpustakaan spacy-huggingface-hub memperluas CLI bawaan spaCy sehingga orang dapat dengan mudah mendorong model yang dikemas mereka ke Hub.

Anda dapat menginstal spacy-huggingface-hub dari pip:

pip install spacy-huggingface-hub

Anda kemudian dapat memeriksa apakah perintah telah didaftarkan dengan sukses

python -m spacy huggingface-hub --help

Untuk mendorong dengan CLI, Anda dapat menggunakan perintah huggingface-hub push seperti yang terlihat di bawah.

python -m spacy huggingface-hub push [whl_path] [--org] [--msg] [--local-repo] [--verbose]

Anda kemudian dapat mengunggah pipeline apa pun yang dikemas dengan spacy package. Pastikan untuk mengatur --build wheel untuk menghasilkan file biner .whl. Uploader akan membaca semua metadata dari paket pipeline, termasuk README.md yang rapi dan dihasilkan secara otomatis serta detail model yang tersedia di meta.json.

hf auth login
python -m spacy package ./en_ner_fashion ./output --build wheel
cd ./output/en_ner_fashion-0.0.0/dist
python -m spacy huggingface-hub push en_ner_fashion-0.0.0-py3-none-any.whl

Hanya dalam satu menit, Anda dapat mengunggah model yang sudah dikemas ke Hub, mencobanya langsung di browser, dan membagikannya ke komunitas lainnya. Semua metadata yang diperlukan akan diunggah untuk Anda, dan Anda bahkan akan mendapatkan kartu model yang keren.

Perintah tersebut akan menghasilkan dua hal:

• Di mana menemukan repo Anda di Hub! Misalnya, https://huggingface.co/spacy/en_core_web_sm
• Dan bagaimana cara menginstal pipeline langsung dari Hub!

Dari skrip Python

Anda dapat menggunakan fungsi push dari Python. Fungsi ini mengembalikan kamus yang berisi "url" dan ”whl_url” dari model dan file wheel yang dipublikasikan, yang kemudian dapat Anda instal dengan pip install.

from spacy_huggingface_hub import push

result = push("./en_ner_fashion-0.0.0-py3-none-any.whl")
print(result["url"])

Sumber daya tambahan

• library spacy-huggingface-hub.
• Rilis artikel blog
• spaCy v 3.1 Pengumuman
• dokumentasi spaCy