reach-vb/pokemon-blip-captions
קוד פתוחreach-vbcc-by-nc-sa-4.02024-03-12
תמונות פוקימון עם תיאורים טקסטואליים שנוצרו על ידי מכונה. המאגר מתאים בעיקר למי שרוצה לאמן או לבדוק מודלי טקסט לתמונה על סגנון מוגדר ומצומצם.
- 822הורדות בחודש
- 26לייקים
מה זה
המאגר מבוסס על תמונות שנלקחו מפרויקט FastGAN עבור סינתזת תמונות בגישת Few-Shot. כל רשומה כוללת שני שדות בלבד, תמונה מסוג PIL בגדלים שונים ותיאור טקסטואלי באנגלית שהופק באמצעות מודל הראייה השפתית BLIP. התיאורים מתארים את המראה הוויזואלי של הדמויות, לעיתים בצורה כללית כמו צעצוע ירוק או כדור אדום ולבן, ולא בהכרח בשמות המקוריים של הפוקימונים.
אין כאן חלוקה מורכבת לקבוצות מבחן ואימות, אלא רק פיצול אימון יחיד. הנתונים נארזו מחדש על בסיס העבודה של ג'סטין פינקני עבור פרויקט פיין-טיונינג של סטייבל דיפיוז'ן, ללא סינון ידני נוסף שמדווח בתיעוד מעבר ליצירת הכתוביות האוטומטית. גודל המאגר כולו עומד על פחות מאלף דוגמאות, מה שהופך אותו לסט קומפקטי שמיועד לניסויי התאמה מהירים.
מתאים ל
- פיין-טיונינג מהיר
אימון קל של מודל יצירת תמונה על סגנון אנימציה מוגדר עם מעט דוגמאות.
- בדיקת צינורות עבודה
הרצת בדיקות תקינות לקוד אימון של מודלי תמונה וטקסט על משקל נמוך.
- הערכת תיאורי תמונה
בחינת איכות הכתוביות של BLIP מול תמונות לא שגרתיות של דמויות.
איפה זה נופל
הטקסטים נוצרו על ידי BLIP באופן אוטומטי, ולכן הם מכילים אי-דיוקים בזיהוי הדמויות ומפספסים לעיתים קרובות את השמות הרשמיים. המאגר כולו כולל פחות מאלף דוגמאות באנגלית בלבד, כך שאין כאן שום כיסוי לעברית או מגוון סגנוני רחב. אי אפשר לבנות על זה מודל גנרטיבי רחב, והנתונים מתאימים רק לתרגול או התאמה מוגבלת לסגנון הספציפי הזה.
שאלות
נפוצות
האם מותר להשתמש במאגר למטרות מסחריות?
לא. הרישיון המוגדר הוא רישיון לא-מסחרי בלבד. בנוסף, הדמויות המופיעות בתמונות מבוססות על המותג פוקימון, מה שמעלה מגבלות קניין רוחני מעבר לרישיון עצמו.
כמה רשומות יש בדאטהסט ומה הנפח שלו?
יש במאגר פחות מאלף רשומות שמרוכזות בקובץ אימון יחיד. מדובר בסט נתונים קטן מאוד ששוקל מעט ויורד תוך שניות בודדות.
האם יש תמיכה בעברית?
לא. כל התיאורים הופקו באנגלית בלבד באמצעות מודל BLIP. אם אתם צריכים תיאורים בעברית, תצטרכו לתרגם אותם בעצמכם.
איך נוצרו התיאורים של התמונות?
התמונות המקוריות נלקחו ממאגר FastGAN של פוקימונים, והתיאורים חולצו באמצעות מודל הראייה BLIP. אין כאן תיוג אנושי ידני, אלא תיאור תמונה ממוחשב.
איך טוענים
טוענים את המאגר ישירות דרך ספריית datasets ללא צורך בהרשאות גישה או אישור מיוחד. הנתונים מאוחסנים בקובץ parquet יחיד בתוך תיקיית הדאטה לצד קובצי ההגדרות. בזמן הטעינה מקבלים אובייקט עם השדות image ו־text. קחו בחשבון שהתמונות מגיעות ברזולוציות משתנות, כך שתידרשו לבצע התאמת גודל אחידה לפני הזנה למודל.
from datasets import load_dataset
ds = load_dataset("reach-vb/pokemon-blip-captions")הרישיון
הרישיון הוא cc-by-nc-sa-4.0. המשמעות היא שאין אישור לשימוש מסחרי, חובה לתת קרדיט למחברים המקוריים, וכל נגזרת שתיבנה על בסיס הנתונים חייבת להיות מופצת תחת אותו הרישיון בדיוק. אם אתם מתכננים להוציא מזה מוצר שמכניס כסף, המאגר הזה פשוט חסום בפניכם.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא