Hub documentation
Utiliser spaCy sur Hugging Face
Utiliser spaCy sur Hugging Face
spaCy est une bibliothèque populaire pour le traitement avancé du langage naturel, largement utilisée dans l’industrie. spaCy facilite l’utilisation et l’entraînement de pipelines pour des tâches telles que la reconnaissance d’entités nommées, la classification de texte, l’étiquetage des parties du discours et bien d’autres, et permet de construire des applications puissantes pour traiter et analyser de grands volumes de texte.
Explorer les modèles spaCy dans le Hub
Les modèles officiels de spaCy 3.3 se trouvent sur la page de l'organisation spaCy. Les membres de la communauté peuvent également partager leurs modèles spaCy, que vous pouvez trouver en filtrant à gauche de la page des modèles.
Tous les modèles du Hub sont dotés de fonctionnalités utiles
- Une carte de modèle générée automatiquement avec le schéma d'étiquettes, les métriques, les composants, et plus encore.
- Une section d'évaluation en haut à droite où vous pouvez consulter les métriques.
- Balises de métadonnées qui facilitent la découvrabilité et contiennent des informations telles que la licence et la langue.
- Un widget interactif que vous pouvez utiliser pour tester le modèle directement dans le navigateur
- Un widget Inference Providers permettant d’effectuer des requêtes d’inférence.
Utilisation de modèles existants
Tous les modèles spaCy du Hub peuvent être installés directement à l'aide de pip install.
pip install "en_core_web_sm @ https://huggingface.co/spacy/en_core_web_sm/resolve/main/en_core_web_sm-any-py3-none-any.whl"Pour trouver le lien qui vous intéresse, vous pouvez accéder à un dépôt contenant un modèle spaCy. Une fois le dépôt ouvert, cliquez sur Use in spaCy et un extrait de code fonctionnel vous sera fourni, que vous pouvez utiliser pour installer et charger le modèle !
Une fois installé, vous pouvez charger le modèle comme n'importe quel pipeline spaCy.
# Using spacy.load().
import spacy
nlp = spacy.load("en_core_web_sm")
# Importing as module.
import en_core_web_sm
nlp = en_core_web_sm.load()Partager vos modèles
Utiliser la CLI spaCy (recommandé)
La bibliothèque spacy-huggingface-hub étend le CLI natif de spaCy afin que les utilisateurs puissent facilement publier leurs modèles empaquetés sur le Hub.
Vous pouvez installer spacy-huggingface-hub depuis pip :
pip install spacy-huggingface-hub
Vous pouvez ensuite vérifier si la commande a bien été enregistrée
python -m spacy huggingface-hub --helpPour pousser via l’interface en ligne de commande, vous pouvez utiliser la commande huggingface-hub push comme indiqué ci-dessous.
python -m spacy huggingface-hub push [whl_path] [--org] [--msg] [--local-repo] [--verbose]
| Argument | Type | Description |
|---|---|---|
whl_path | str / Path | Le chemin vers le fichier .whl empaqueté avec le spacy package. |
--org, -o | str | Nom facultatif de l'organisation vers laquelle le pipeline doit être téléversé. |
--msg, -m | str | Message de commit à utiliser pour la mise à jour. Par défaut, "Update spaCy pipeline". |
--local-repo, -l | str / Path | Chemin local du dépôt du modèle (sera créé s’il n’existe pas). Par défaut, hub dans le répertoire de travail actuel. |
--verbose, -V | bool | Affiche des informations supplémentaires pour le débogage, par exemple les métadonnées complètes du hub généré. |
Vous pouvez ensuite téléverser tout pipeline empaqueté avec spacy package. Assurez-vous de définir --build wheel pour générer un fichier binaire .whl. Le téléverseur lira toutes les métadonnées du paquet de pipeline, y compris le README.md bien formaté généré automatiquement et les détails du modèle disponibles dans meta.json.
hf auth login
python -m spacy package ./en_ner_fashion ./output --build wheel
cd ./output/en_ner_fashion-0.0.0/dist
python -m spacy huggingface-hub push en_ner_fashion-0.0.0-py3-none-any.whlEn une minute à peine, vous pouvez mettre votre modèle empaqueté sur le Hub, l’essayer directement dans le navigateur et le partager avec le reste de la communauté. Toutes les métadonnées requises seront téléversées pour vous, et vous obtenez même une fiche modèle soignée.
La commande affichera deux éléments :
- Où trouver votre dépôt sur le Hub ! Par exemple, https://huggingface.co/spacy/en_core_web_sm
- Et comment installer le pipeline directement depuis le Hub !
Depuis un script Python
You can use the push function from Python. It returns a dictionary containing the "url" and ”whl_url” of the published model and the wheel file, which you can later install with pip install.
from spacy_huggingface_hub import push
result = push("./en_ner_fashion-0.0.0-py3-none-any.whl")
print(result["url"])Ressources supplémentaires
- bibliothèque spacy-huggingface-hub.
- Publication du blog
- spaCy v 3.1 Annonce
- spaCy documentation