label-files
קוד פתוחhuggingfaceרישיון לא דווח2022-03-02
המאגר מרכז קובצי מיפוי פשוטים בין מספרי מזהים לשמות מחלקות עבור שורת מאגרי נתונים מוכרים. הוא חוסך כתיבה ידנית של מילוני תגיות בזמן עבודה עם מודלים.
- 1,778הורדות בחודש
- 23לייקים
מה זה
לא מדובר במאגר תמונות או דגימות קול, אלא באוסף טכני של קובצי עזר שמכילים מיפוי מסוג id2label. בכל קובץ יש מילון שמקשר בין מזהה מספרי של מחלקה לבין השם הטקסטואלי שלה, בדיוק בפורמט שספריית Transformers דורשת כדי לפענח תחזיות של מודלים לפלט קריא.
התוכן נאסף מתוך מאגרים קיימים ופופולריים בעולמות הראייה הממוחשבת והאודיו. בין הקבצים אפשר למצוא מיפויים עבור ImageNet-1k, ImageNet-22k עם 21,843 מחלקות, COCO בגרסאות זיהוי ופנאופטיק מ־2017, וכן Cityscapes, ADE20k מתוך בנצ'מרק פיענוח הסצנות של MIT, VQAv2, Kinetics-400, Kinetics-700, RVL-CDIP ו־PASCAL VOC.
המאגר מכיל 27 קבצים בסך הכל, וכל קובץ מוקדש למאגר נתונים ספציפי או לגרסה מסוימת שלו, כמו התאמות ייעודיות לפורמטים של ספריות חיצוניות. אין כאן נתוני אימון, תמונות גולמיות או חלוקות לפיצולים, אלא רק את שמות המחלקות והאינדקסים שלהן.
מתאים ל
- פענוח פלט במודלי ראייה
תרגום אינדקס מספרי שחוזר ממודל סיווג לשם מחלקה קריא באנגלית בלי לבנות מילון ידני.
- הגדרת קונפיגורציה במודל
הזנת המילון ישירות למאפיין id2label בעת שמירת מודל בספריית Transformers.
- התאמת תוויות ב־COCO
חיבור מהיר של שמות הקטגוריות למשימות זיהוי עצמים או סגמנטציה פנאופטית.
איפה זה נופל
אין כאן נתונים לאימון עצמו אלא רק תוויות, כך שאי אפשר להשתמש במאגר כבסיס ללמידה בלי להוריד את התמונות או קובצי המקור בנפרד. שמות המחלקות מופיעים באנגלית בלבד, ואין תרגום מובנה לעברית או לשפות אחרות. מעבר לכך, אם המאגר המקורי הכיל הטיות בשמות המחלקות או בחירת קטגוריות בעייתית, המיפוי כאן משקף אותן במדויק בלי סינון או בדיקה מחדש.
שאלות
נפוצות
האם מותר להשתמש במיפויים האלה במוצר מסחרי?
המאגר עצמו לא כולל הצהרת רישיון, מה שמשאיר את העניין באזור אפור. השימוש תלוי בפועל ברישיון של מאגר המקור שממנו נלקחו התוויות, ולכן צריך לבדוק כל קובץ מול תנאי השימוש של הפרויקט המקורי. בחלק מהמקרים, כמו מאגרים אקדמיים מסוימים, ייתכנו הגבלות על שימוש מסחרי.
כמה המאגר שוקל והאם הוא כולל תמונות?
המאגר שוקל מעט מאוד, בסדר גודל של קילובייטים בודדים עד מגהבייטים ספורים עבור הקבצים הגדולים יותר. אין בו תמונות, קול או דגימות נתונים כלל. הוא מכיל רק קובצי JSON טקסטואליים של שמות מחלקות ומספרים.
האם יש תמיכה בשמות מחלקות בעברית?
לא, כל שמות המחלקות בכל הקבצים שמורים באנגלית בלבד. אם המערכת שלכם מיועדת למשתמשי קצה דוברי עברית, תצטרכו לתרגם את המילון באופן עצמאי. אין במאגר שום קובצי לוקליזציה לשפות נוספות.
איך המידע הזה שונה מהורדת הדאטהסט המלא?
הדאטהסטים המלאים שוקלים עשרות ומאות גיגהבייט וכוללים את קובצי המדיה עצמם. המאגר הזה מחלץ החוצה רק את טבלת התרגום בין המספר לשם, ומאפשר לטעון אותה ברגע בלי להתעסק עם הורדת הנתונים הכבדים.
איך טוענים
טוענים את הקבצים ישירות דרך הספרייה huggingface_hub באמצעות הפונקציה hf_hub_download, תוך ציון repo_type כדאטהסט. המבנה הוא קובץ JSON רגיל שניתן לקרוא ישירות עם מודול json בפייתון. מכיוון שמפתחות נשמרים כמחרוזות בקובץ, צריך להמיר אותם ידנית למספרים שלמים כדי לקבל מילון תקין של מזהה לשם מחלקה. הגישה חופשית ואין צורך בהרשאות מיוחדות.
from datasets import load_dataset
ds = load_dataset("huggingface/label-files")הרישיון
הרישיון של המאגר לא דווח. בפועל, שימוש מסחרי או משפטי תלוי ברישיונות המקוריים של המאגרים שמהם נלקחו שמות התגיות, כמו ImageNet או COCO. מודל שתאמנו לא יושפע ישירות מקובץ המילון עצמו, אבל אסור להניח שהשמות חופשיים לכל שימוש בלי לבדוק את המקור.