coyo-hd-11m-llavanext
קוד פתוחCaptionEmporiumcc-by-sa-4.02024-06-24
מעל 22 מיליון תיאורים סינתטיים עבור 11.3 מיליון תמונות מסוננות מתוך coyo-700m. המאגר נבנה כדי לספק איכות ויזואלית גבוהה ותיאורים מפורטים במקום טקסט alt מקורי וחלקי.
- 857הורדות בחודש
- 29לייקים
מה זה
המאגר מכיל 11,397,144 שורות בפיצול train יחיד. הבסיס נלקח מתוך 450 מיליון הרשומות הראשונות של coyo-700m, אך עבר סינון קפדני. נבחרו רק תמונות שהצלע הקצרה שלהן היא 512 פיקסלים לפחות, ולאחר מכן הופעלו שני מסווגים כדי להעיף תמונות פשוטות מדי, כמו מוצר בודד על רקע לבן או שקופיות טקסט.
לכל תמונה נוצרו שני תיאורים באנגלית: תיאור מפורט שנוצר באמצעות llama3-llava-next-8b ותוקן במידת הצורך, ותיאור קצר של עד 30 מילים שתוצת באמצעות Meta-Llama-3-8B. בנוסף, הרשומות כוללות תגיות סיווג מובנות משני המודלים, המאפשרות לאתר ולסנן תמונות לפי קטגוריות ספציפיות.
מתאים ל
- אימון מודלי יצירת תמונה
אימון text-to-image על תמונות חדות ברזולוציה גבוהה לצד תיאורים קצרים וממוקדים או תיאורים מפורטים.
- אימון מודלי ראייה-שפה
שיפור ביצועי מודלי image-to-text במשימות הבנת סצנות מורכבות ותיאור תמונות באנגלית.
- אימון על מחלקות מוגדרות
סינון קל של תמונות לפי שדות התגיות booru ו־Open Images לטובת מודלים ייעודיים לתחום צר.
איפה זה נופל
כל התיאורים הם באנגלית בלבד ואין במאגר עברית. הנתונים מוטים באופן ישיר למושגים ששני המסווגים יודעים לזהות. היוצרים לא ביצעו בדיקת בטיחות עצמאית ומסתמכים בלבד על מנגנון ה־NSFW המקורי של Kakao Brain. בנוסף, תמונות מטושטשות ותמונות עם סימני מים לא סוננו החוצה ונשארו במאגר, כך שתצטרכו לסנן אותן בעצמכם בעזרת התגיות לפני שתכניסו את המידע לאימון.
שאלות
נפוצות
האם המאגר כולל טקסטים או תמונות בעברית?
לא. התיאורים נוצרו באנגלית בלבד באמצעות מודלי LLaVA ו־Llama 3, והתמונות מגיעות מתוך המאגר הכללי של coyo.
האם מותר להשתמש במאגר לפרויקט מסחרי?
הרישיון מאפשר שימוש מסחרי אך כולל סעיף שיתוף זהה (ShareAlike). המשמעות היא שאם תפיצו שינויים או מוצרים נגזרים המבוססים עליו, תצטרכו לשחרר אותם תחת אותו רישיון פתוח.
איך המאגר הזה שונה מ־coyo-700m המקורי?
הוא קטן וממוקד בהרבה. הוא כולל רק 11 מיליון תמונות ברזולוציה של 512 פיקסלים ומעלה עם צפיפות מושגים גבוהה, ומחליף את טקסט ה־alt המקורי בתיאורים מלאכותיים מפורטים.
האם התמונות עצמן שמורות בתוך הקבצים?
המאגר בהאגינג פייס מורכב מ־32 קבצי Arrow של תיאורים ותגיות. המידע נשען על קישורי התמונות מתוך המאגר של coyo-700m.
איך טוענים
הנתונים מחולקים ל־32 קבצי Arrow בתוך תיקיית data, לצד קובץ README. אין צורך לבקש אישור גישה מיוחד כדי להוריד אותם. שדות המפתח כוללים את התגיות tags_open_images ו־tags_booru, לצד התיאורים הסינתטיים. כדי להוריד את התמונות עצמן תצטרכו לגשת לכתובות המקור מתוך coyo-700m, כך ששמירת הנתונים המלאים תדרוש נפח אחסון משמעותי ותעבורת רשת רחבה.
from datasets import load_dataset
ds = load_dataset("CaptionEmporium/coyo-hd-11m-llavanext")הרישיון
המאגר מופץ תחת רישיון cc-by-sa-4.0. הרישיון מאפשר שימוש מסחרי, אך דורש מתן קרדיט מתאים. הדרישה המשמעותית היא שיתוף זהה: כל יצירה נגזרת שתפיצו, ובמקרים מסוימים גם מודלים שתאמנו על הדאטה, תחויב בהפצה תחת אותו רישיון בדיוק.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון