Studi Pengguna

Audiens dan Kasus Penggunaan Model Card

Selama investigasi kami terhadap lanskap alat dokumentasi model (kartu data, dll.), kami mengamati bagaimana berbagai pemangku kepentingan memanfaatkan infrastruktur yang ada untuk membuat semacam kartu model dengan informasi yang berfokus pada domain yang mereka butuhkan.

Salah satu contohnya adalah ‘analisis bisnis’ atau mereka yang fokus pada B2B serta audiens internal saja. Pendekatan statis dan lebih manual untuk audiens ini adalah menggunakan halaman Confluence. (jika PM yang menulis halaman, kita memisahkan pembuat model dari konsumsi teoretisnya; jika insinyur ML yang menulis halaman, mereka cenderung hanya menekankan jenis informasi tertentu. [^1]) atau kombinasi yang diusulkan dari template HTML (Jinja), kelas Metaflow, dan kunci APi eksternal, untuk membuat kartu model yang mencakup perspektif informasi model yang dibutuhkan untuk domain/kegunaan mereka.

Kami melakukan studi pengguna dengan tujuan untuk memvalidasi struktur kartu model yang diinformasikan oleh literatur serta memahami bagian/area yang memiliki peringkat kepentingan dari perspektif berbagai pemangku kepentingan. Studi ini bertujuan untuk memvalidasi komponen-komponen berikut:

• Tata Letak Kartu Model

Selama pemeriksaan kami terhadap state of the art kartu model, yang mencatat bagian-bagian yang berulang dari sekitar 100 model teratas yang diunduh di hub dan memiliki kartu model. Dari analisis ini, kami mengatalogkan bagian-bagian kartu model dan informasi yang paling sering muncul, yang dikombinasikan dengan struktur kartu model Bloom, membawa kami pada versi awal dari struktur kartu model standar.

Saat kami mulai menyusun studi pengguna kami, dua variasi kartu model - yang memanfaatkan struktur kartu model awal - digunakan sebagai demonstrasi interaktif. Tujuan dari demo-demo ini adalah untuk memahami tidak hanya perspektif pengguna yang berbeda terhadap elemen visual kartu model, tetapi juga konten yang disajikan kepada pengguna. Hasil yang {diinginkan} akan memungkinkan kami untuk lebih memahami apa yang membuat kartu model lebih mudah dibaca, tetap menyediakan tingkat interaktivitas tertentu di dalam kartu model, sambil menyajikan informasi dengan cara yang mudah dipahami [dapat didekati].

• Perspektif Pemangku Kepentingan

Karena berbagai orang dengan latar belakang teknis yang berbeda dapat berkolaborasi dalam pengembangan model dan kemudian kartu modelnya, kami berupaya memvalidasi kebutuhan akan perspektif pemangku kepentingan yang berbeda. Berdasarkan kemudahan penggunaan dalam menulis bagian-bagian kartu model yang berbeda dan bagian-bagian yang akan dibaca terlebih dahulu

Peserta memberikan peringkat pada bagian-bagian berbeda dari model card dari perspektif seseorang yang membaca model card dan kemudian sebagai penulis model card. Skema pengurutan - 1 sebagai bobot tertinggi dan 10 sebagai bobot terendah - diterapkan pada bagian-bagian berbeda yang biasanya dibaca pengguna terlebih dahulu dalam model card dan bagian-bagian model card yang akan dianggap paling mudah ditulis oleh penulis model card.

Ringkasan Tanggapan terhadap Survei Studi Pengguna

Studi pengguna kami memberikan kejelasan lebih lanjut mengenai bagian-bagian yang dianggap lebih menantang atau lebih mudah ditulis oleh profil pengguna/pemangku kepentingan yang berbeda.

Hasil yang diilustrasikan di bawah menunjukkan bahwa meskipun bagian Bias, Risks and Limitations menempati peringkat kedua bagi penulis model card dan pembaca model card untuk In what order do you write the model card and What section do you look at first, masing-masing, bagian ini juga dicatat sebagai bagian yang paling menantang/terpanjang untuk ditulis. Hal ini mendukung/menguatkan kebutuhan untuk mengevaluasi lebih lanjut bagian Bias, Risks and Limitations guna membantu penulisan bagian yang menentukan/krusial ini.

Template-template ini kemudian digunakan untuk menghasilkan kartu model untuk 200 model Hugging Face (HF) yang paling banyak diunduh.

• Kami memulai dengan menarik semua model Hugging Face di hub dan, khususnya, subbagian tentang Keterbatasan dan Bias (subbagian “Risiko” sebagian besar tidak ada).
• Berdasarkan masukan yang paling sering digunakan secara berkelanjutan dengan jumlah unduhan model yang lebih tinggi, dikelompokkan berdasarkan tipe model, alat ini menyediakan teks berprompt di bagian Bias, Risiko, dan Keterbatasan. Kami juga menyediakan teks default jika tipe model tidak ditentukan.

Menggunakan informasi ini, kami kembali ke analisis kami terhadap semua kartu model di hub, yang dikombinasikan dengan saran dari peneliti dan rekan lain di HF serta penelitian tambahan mengenai jenis informasi ber-prompt yang dapat kami berikan kepada pengguna saat mereka membuat kartu model. Teks ber-prompt bawaan ini memungkinkan kami untuk memenuhi tujuan:

1) Bagi mereka yang belum pernah membuat kartu model sebelumnya atau yang biasanya tidak membuat kartu model atau jenis dokumentasi model lainnya untuk model mereka, teks yang dipromosikan memungkinkan pengguna ini untuk dengan mudah membuat kartu model. Hal ini pada gilirannya meningkatkan jumlah kartu model yang dibuat.

2) Pengguna yang sudah menulis kartu model, teks yang ditampilkan mengajak mereka untuk menambahkan lebih banyak ke kartu model mereka, sehingga semakin mengembangkan konten/standar kartu model.

Detail Studi Pengguna

Kami memilih orang-orang dari berbagai latar belakang yang relevan dengan machine learning dan dokumentasi model. Di bawah ini, kami merinci demografi mereka, pertanyaan yang diajukan, serta wawasan yang diperoleh dari respons mereka. Detail lengkap mengenai respons tersedia di Lampiran A.

Demografi Responden

• Konsultan Urusan Teknologi & Regulasi
• ML Engineer (x2)
• Developer Advocate
• Asisten Eksekutif
• Kepala Monetisasi
• Manajer Kebijakan/Peneliti AI
• Magang Riset

Informasi kunci apa yang ingin atau perlu Anda ketahui tentang sebuah model saat berinteraksi dengan model machine learning?

Wawasan:

• Responden memprioritaskan informasi tentang tugas/domain model (x3), data pelatihan/prosedur pelatihan (x2), cara menggunakan model (dengan kode) (x2), bias dan keterbatasan, serta lisensi model

Umpan Balik tentang Format Kartu Model Tertentu

Format 1:

Kartu model distilbert/distilgpt2 saat ini di Hub

Wawasan:

• Responden menilai format kartu model ini ringkas, lengkap, dan mudah dibaca.
• Tidak ada konsensus mengenai bagian yang dapat dilipat (sebagian menyukainya dan menginginkan lebih, sebagian lagi tidak menyukainya).
• Beberapa responden mengatakan bahwa “Risks and Limitations” seharusnya digabungkan dengan “Out of Scope Uses”

Format 2:

Ruang Kartu Model Interaktif milik Nazneen Rajani

Wawasan:

• Meskipun beberapa responden sangat menyukai format ini, sebagian besar merasa kewalahan atau menganggapnya sebagai kelebihan informasi. Beberapa menyarankan bahwa format ini bisa menjadi alat yang bagus untuk ditambahkan di atas kartu model dasar untuk audiens yang lebih lanjut.

Format 3:

Semi-Interactive Model Card Space milik Ezi Ozoani

Wawasan:

• Beberapa responden merasa format ini membebani, tetapi secara umum mereka menganggapnya kurang membebani dibandingkan format 2.
• Beberapa responden tidak setuju dengan tata letak saat ini dan memberikan umpan balik spesifik mengenai bagian mana yang harus diprioritaskan di setiap kolom.

Peringkat Bagian

Diurutkan berdasarkan peringkat rata-rata. Panah ditampilkan relatif terhadap urutan bagian terkait dalam pertanyaan pada survei.

Wawasan:

• Saat menulis kartu model, responden umumnya mengatakan bahwa mereka akan menulis kartu model dalam urutan yang sama dengan urutan bagian yang tercantum dalam pertanyaan survei.
• Saat mengurutkan bagian kartu model berdasarkan kemudahan/kecepatan penulisan, konsensus menyatakan bahwa bagian tentang penggunaan dan batasan serta risiko adalah yang paling sulit.
• Saat membaca kartu model, responden mengatakan bahwa mereka melihat bagian-bagian kartu dalam urutan yang mendekati – tetapi tidak sepenuhnya sejalan dengan – urutan bagian yang tercantum dalam pertanyaan survei.

Lihat Lampiran

Ucapan Terima Kasih

Kami ingin memberikan pengakuan dan ucapan terima kasih kepada Bibi Ofuya atas penciptaan pertanyaannya serta bimbingannya mengenai urutan dan penyajian yang berfokus pada pengguna selama studi pengguna.

[^1]: See https://towardsdatascience.com/dag-card-is-the-new-model-card-70754847a111

---

Silakan kutip sebagai: Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

Update on GitHub