Plantilla de tarjeta de modelo anotada

¿Listo para publicar? Consulta la Model Release Checklist para conocer los pasos esenciales de una publicación de modelo concisa, informativa y fácil de usar.

Plantilla

archivo modelcard_template.md

Instrucciones

Rellenar por completo una tarjeta de modelo requiere la aportación de varios roles diferentes. (Una misma persona puede tener más de un rol.) Nos referiremos a estos roles como el desarrollador, quien escribe el código y ejecuta el entrenamiento; el especialista sociotécnico, que domina el análisis de la interacción a largo plazo entre la tecnología y la sociedad (esto incluye a abogados, éticos, sociólogos o defensores de derechos); y el organizador del proyecto, que comprende el alcance y la repercusión general del modelo, puede rellenar aproximadamente cada parte de la tarjeta y actúa como persona de contacto para las actualizaciones de la tarjeta del modelo.

• El developer es necesario para completar Training Procedure y Technical Specifications. También resulta especialmente útil para la sección “Limitations” de Bias, Risks, and Limitations. Es responsable de proporcionar Results para la Evaluación, e idealmente trabaja con los demás roles para definir el resto de la Evaluación: Testing Data, Factors & Metrics.

• El sociotécnico es necesario para completar “Bias” y “Risks” dentro de Bias, Risks, and Limitations, y resulta especialmente útil para “Out of Scope Use” dentro de Uses.

• El organizador del proyecto es necesario para completar Detalles del modelo y Usos. También podrían completar Datos de entrenamiento. Los organizadores del proyecto también podrían estar a cargo de Cita, Glosario, Contacto de la tarjeta del modelo, Autores de la tarjeta del modelo y Más información.

Las instrucciones se proporcionan a continuación, en cursiva.

Los nombres de variables de plantilla aparecen en monospace.

---

Nombre del modelo

Resumen de la sección: Proporcione el nombre del modelo y un resumen de 1 a 2 oraciones sobre lo que es el modelo.

model_id

model_summary

Índice

Resumen de la sección: Proporcione esto con enlaces a cada sección para permitir a las personas saltar fácilmente entre ellas, usar el archivo en otras ubicaciones con el índice conservado, imprimir el contenido, etc.

Detalles del modelo

Resumen de la sección: Esta sección proporciona información básica sobre qué es el modelo, su estado actual y su origen. Debe ser útil para cualquier persona que desee hacer referencia al modelo.

Descripción del modelo

model_description

Proporciona detalles básicos sobre el modelo. Esto incluye la arquitectura, la versión, si fue presentado en un artículo, si está disponible una implementación original y los creadores. Cualquier derecho de autor debe atribuirse aquí. También se puede mencionar información general sobre los procedimientos de entrenamiento, los parámetros y los avisos importantes en esta sección.

• Desarrollado por: developers

Enumera (y, idealmente, enlaza a) las personas que construyeron el modelo.

• Financiado por: funded_by

Enumere (y, de ser posible, enlance) las fuentes de financiación que respaldaron o hicieron posible este modelo, ya sea de forma financiera, computacional u otra.

• Compartido por [opcional]: shared_by

Enumera (y, idealmente, enlaza a) las personas u organización que ponen el modelo a disposición en línea.

• Tipo de modelo: model_type

Puedes nombrar el “type” como:

1. Método de supervisión/aprendizaje

2. Tipo de aprendizaje automático

3. Modalidad

• Idioma(s) [NLP]: language

Utilice este campo cuando el sistema utilice o procese lenguaje natural (humano).

• Licencia: license

Nombre y enlace a la licencia utilizada.

• Modelo de origen del ajuste fino [opcional]: base_model

Si este modelo tiene otro modelo como base, enlázalo aquí.

Fuentes de modelos opcionales

• Repositorio: repo
• Artículo [opcional]: paper
• Demo [opcional]: demo

Proporciona fuentes para que el usuario pueda ver directamente el modelo y sus detalles. Otros tipos de recursos, como registros de entrenamiento, lecciones aprendidas, etc., deben ir en la sección Más información. Si incluyes un elemento para esta sección, enlaza al repositorio.

Usos

Resumen de la sección: Esta sección aborda las preguntas sobre cómo se pretende utilizar el modelo en diferentes contextos aplicados, discute a los usuarios previsibles del modelo (incluidos aquellos afectados por él) y describe los usos que se consideran fuera de su alcance o un mal uso del modelo. Tenga en cuenta que esta sección no está destinada a incluir los detalles de uso de la licencia. Para ello, enlaza directamente con la licencia.

Uso directo

direct_use

Explique cómo se puede utilizar el modelo sin ajuste fino, posprocesamiento o integración en un pipeline. Se recomienda incluir un fragmento de código de ejemplo.

Uso opcional de aguas abajo

downstream_use

Explique cómo se puede utilizar este modelo cuando se ajusta para una tarea o cuando se integra en un ecosistema o aplicación más grande. Se recomienda incluir un fragmento de código de ejemplo.

Uso fuera de alcance

out_of_scope_use

Enumere las formas en que el modelo podría ser utilizado de manera incorrecta (usos para los que no está diseñado) y especifique qué no deben hacer los usuarios con el modelo.

Sesgos, riesgos y limitaciones

Resumen de la sección: Esta sección identifica daños previsibles, malentendidos y limitaciones técnicas y sociotécnicas. También proporciona información sobre advertencias y posibles mitigaciones. El sesgo, los riesgos y las limitaciones a veces son inseparables o se refieren a los mismos problemas. En general, el sesgo y los riesgos son sociotécnicos, mientras que las limitaciones son técnicas:

• Un bias es un estereotipo o un rendimiento desproporcionado (sesgo) para algunas subpoblaciones.
• Un riesgo es un problema de relevancia social que el modelo podría causar.
• Una limitación es un modo de fallo probable que puede abordarse siguiendo las recomendaciones enumeradas.

bias_risks_limitations

¿Cuáles son los problemas conocidos o previsibles derivados de este modelo?

Recomendaciones

bias_recommendations

¿Cuáles son las recomendaciones con respecto a los problemas previsibles? Esto puede incluir desde “reducir la resolución de tu imagen” hasta filtrar contenido explícito.

Detalles del entrenamiento

Resumen de la sección: Esta sección proporciona información para describir y replicar el entrenamiento, incluidos los datos de entrenamiento, la velocidad y el tamaño de los elementos de entrenamiento y el impacto ambiental del entrenamiento. También se relaciona en gran medida con las Especificaciones técnicas, y el contenido de aquí debe enlazar con esa sección cuando sea relevante para el procedimiento de entrenamiento. Es útil para las personas que desean aprender más sobre las entradas del modelo y la huella de entrenamiento. Es relevante para cualquiera que desee conocer los fundamentos de lo que el modelo está aprendiendo.

Datos de entrenamiento

training_data

Escriba 1 o 2 oraciones sobre los datos de entrenamiento. Idealmente, esto debe enlazar a una tarjeta de conjunto de datos para obtener más información. Los enlaces a documentación relacionada con el preprocesamiento de datos o el filtrado adicional también pueden ir aquí, así como en Más información.

Procedimiento de entrenamiento opcional

Preprocesamiento

preprocessing

Detallar la tokenización, el redimensionado/reescritura (según la modalidad), etc.

Velocidades, tamaños, tiempos

speeds_sizes_times

Detalles del rendimiento, hora de inicio/fin, tamaños de los puntos de control, etc.

Evaluación

Resumen de la sección: Esta sección describe los protocolos de evaluación, qué se mide en la evaluación y proporciona los resultados. La evaluación idealmente tiene al menos dos partes, una que analiza la medición cuantitativa del rendimiento general (Datos de prueba, factores y métricas), como puede hacerse con el benchmarking; y otra que analiza el rendimiento con respecto a problemas específicos de seguridad social (Evaluación del impacto social), como puede hacerse con el red-teaming. También puede especificar los resultados de evaluación de su modelo de una manera estructurada en los metadatos de la tarjeta del modelo. Los resultados son analizados por el Hub y se muestran en un widget en la página del modelo. Consulte https://huggingface.co/docs/hub/model-cards#evaluation-results.

Datos de prueba, factores y métricas

La evaluación es idealmente desagregada con respecto a diferentes factores, como la tarea, el dominio y el subgrupo de población; y se calcula con las métricas más significativas para los contextos de uso predecibles. Se dice que el rendimiento de evaluación es “justo” entre los diferentes subgrupos cuando es igual en todos ellos; las métricas de justicia objetivo deben decidirse en función de qué errores son más problemáticos a la luz del uso del modelo. Sin embargo, esta sección se utiliza con mayor frecuencia para informar sobre el rendimiento de evaluación agregado en diferentes conjuntos de evaluación de tareas.

Datos de prueba

testing_data

Describe los datos de prueba o enlaza a su Dataset Card.

Factores

testing_factors

¿Cuáles son las características previsibles que influirán en el comportamiento del modelo? Lo ideal es que la evaluación se desagregue en función de estos factores para revelar disparidades en el rendimiento.

Métricas

testing_metrics

¿Qué métricas se utilizarán para la evaluación?

Resultados

results

Los resultados deben basarse en los Factores y Métricas definidos anteriormente.

Resumen

results_summary

¿Qué dicen los resultados? Esto puede funcionar como un resumen para audiencias generales.

Evaluación del impacto social opcional

Utilice esta sección de texto libre para explicar cómo se ha evaluado este modelo en cuanto al riesgo de daño social, como la seguridad infantil, el NCII, la privacidad y la violencia. Esto podría adoptar la forma de respuestas a las siguientes preguntas:

• ¿Es seguro este modelo para que lo usen niños? ¿Por qué sí o por qué no?
• ¿Se ha probado este modelo para evaluar los riesgos relacionados con imágenes íntimas no consensuadas (incluido el CSEM)?
• ¿Se ha probado este modelo para evaluar riesgos relacionados con actividades violentas o representaciones de violencia? ¿Cuáles fueron los resultados?

También se pueden proporcionar cifras cuantitativas sobre cada problema.

Examen del modelo opcional

Resumen de la sección: Esta es una sección experimental que algunos desarrolladores están empezando a añadir, donde puede incluirse el trabajo sobre explicabilidad/interpretabilidad.

model_examination

Impacto ambiental

Resumen de la sección: Resume la información necesaria para calcular impactos ambientales, como el consumo de electricidad y las emisiones de carbono.

• Tipo de hardware: hardware_type
• Horas usadas: hours_used
• Proveedor de la nube: cloud_provider
• Región de cálculo: cloud_region
• Emisiones de carbono: co2_emitted

Las emisiones de carbono pueden estimarse utilizando la calculadora de impacto del aprendizaje automático presentada en Lacoste et al. (2019).

Especificaciones técnicas opcionales

Resumen de la sección: Esta sección incluye detalles sobre el objetivo y la arquitectura del modelo, así como la infraestructura de cómputo. Es útil para las personas interesadas en el desarrollo de modelos. La redacción de esta sección suele requerir la participación directa del desarrollador del modelo.

Arquitectura del modelo y objetivo

model_specs

Infraestructura de cómputo

compute_infrastructure

Hardware

hardware_requirements

¿Cuáles son los requisitos mínimos de hardware, por ejemplo, de procesamiento, almacenamiento y memoria?

Software

software

Cita opcional

Resumen de la sección: La cita preferida por los desarrolladores para este modelo. A menudo se trata de un artículo.

BibTeX

citation_bibtex

APA

citation_apa

Glosario opcional

Resumen de la sección: Esta sección define los términos comunes y cómo se calculan las métricas.

glossary

Defina claramente los términos para que sean accesibles para todos los públicos.

Más información opcional

Resumen de la sección: Esta sección ofrece enlaces a escritos sobre la creación de conjuntos de datos, especificaciones técnicas, lecciones aprendidas y resultados iniciales.

more_information

Autores de la tarjeta del modelo opcional

Resumen de la sección: Esta sección enumera a las personas que crean la tarjeta del modelo, otorgando reconocimiento y responsabilidad por el trabajo detallado que implica su construcción.

model_card_authors

Contacto de la tarjeta del modelo

Resumen de la sección: Ofrece una forma para que las personas que tengan actualizaciones de la Model Card, sugerencias o preguntas, puedan contactar a los autores de la Model Card

model_card_contact

Cómo empezar con el modelo

Resumen de la sección: Proporciona un fragmento de código para mostrar cómo usar el modelo.

get_started_code

---

Cítelo como: Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

Update on GitHub