LAION-SG
קוד פתוחmengcymit2024-12-03
המאגר מספק ייצוג גרפי מובנה של עצמים, תכונות ויחסים עבור חצי מיליון תמונות. הוא מיועד למי שצריך תיאור סמנטי מפורק של סצנות מורכבות במקום כיתוב טקסטואלי שטוח וקצר.
- 348הורדות בחודש
- 50לייקים
מה זה
המאגר כולל 540,005 רשומות המבוססות על תת הקבוצה LAION-Aesthetics V2 6.5plus מתוך LAION-5B, שבה נבחרו במקור תמונות בעלות ציון אסתטי גבוה מ־6.5. מתוך 625,000 צמדים במקור, נותרו רק התמונות שהיו זמינות בפועל בזמן הבנייה. כל רשומה כוללת מזהה תמונה, קישור ישיר לקובץ המקור, כיתוב מקורי, ציון אסתטי, רשימת פריטים עם תכונותיהם ומבנה של שלשות יחסים מוגדרות.
התיוג בוצע באופן אוטומטי באמצעות GPT-4o עם הנחיות שדרשו לזהות כמה שיותר אובייקטים, לחייב תכונה אחת לפחות לכל עצם, ולהשתמש בפעלים מוחשיים ליחסים ביניהם במקום מיקומים מרחביים בלבד. הנתונים מחולקים לשלושה חלקים: 480,005 דוגמאות לאימון, 10,000 לאימות, ו־50,000 לבדיקה.
מתאים ל
- אימון מודלי יצירת תמונה
שימוש בגרף יחסים סמנטי לשליטה מדויקת בקשרים בין עצמים בעת יצירת תמונות מורכבות.
- חילוץ יחסים ומבנה סצנה
אימון מודלים של ראייה ממוחשבת לזיהוי אובייקטים, תכונות והקשרים ביניהם ישירות מתוך תמונה.
- הערכת מודלים רב מודליים
בדיקת יכולת ההבנה של מודלי שפה ותמונה מול פירוק מובנה של עצמים ותיאורי פעולה באנגלית.
איפה זה נופל
כל התיוגים הופקו באמצעות מודל שפה יחיד ללא בדיקה אנושית מדווחת, כך שהטיות והזיות של המודל נכנסות ישירות לגרפים. התיוגים קיימים באנגלית בלבד, ואין ייצוג לשפות אחרות. הנתונים מבוססים על תמונות שנאספו בעבר לרשת, וסוגיות זכויות יוצרים כבר גרמו לאובדן של עשרות אלפי תמונות מהמאגר המקורי. לפני שימוש במוצר מומלץ לבדוק את שיעור הקישורים השבורים ואיכות זיהוי היחסים בסצנות צפופות.
שאלות
נפוצות
האם המאגר כולל את התמונות עצמן?
לא, המאגר מכיל רק קובצי JSON עם קישורים לתמונות וקוד פייתון לעבודה איתן. היוצרים מציינים שבשל סוגיות של זכויות יוצרים עליכם להוריד את התמונות בעצמכם מהאינטרנט או דרך DagsHub. קישורים מסוימים עשויים שלא לעבוד יותר.
מה הרישיון ומה הוא מרשה?
המאגר פורסם ברישיון MIT שמאפשר שימוש מחקרי ומסחרי, כולל שינוי של הקוד והנתונים. הרישיון דורש הכללת הודעת הרישיון והקרדיט המקורי, אך אינו כופה רישיון זהה על מודלים שתאמנו. האחריות על זכויות היוצרים של התמונות המקושרות נשארת אצלכם.
האם יש תמיכה בעברית?
אין במאגר עברית כלל. כל התוויות, התכונות, שמות העצמים והיחסים שנלמדו באמצעות GPT-4o נוצרו באנגלית בלבד. אם המטרה שלכם היא מודל רב לשוני, תצטרכו לתרגם את השדות או להשתמש במיפוי מונחים חיצוני.
איך נאספו ונוצרו הנתונים?
התמונות נלקחו מתוך מאגר LAION-Aesthetics V2 6.5plus, שמכיל תמונות מ־LAION-5B שקיבלו ציון אסתטי גבוה. התיוגים המבניים נוצרו אוטומטית באמצעות GPT-4o עם תבניות שהגדירו זיהוי מרבי של עצמים, שיוך תואר לכל עצם, והגדרת יחסים מבוססי פעלים.
איך טוענים
במאגר עצמו אין קובצי תמונה עקב סוגיות זכויות יוצרים, אלא רק קובצי JSON עם קישורים וקוד פייתון לעיבוד. עליכם להוריד את קובצי התיוג והקוד, ואז להריץ הורדה עצמאית של התמונות לפי הכתובות או דרך המאגר ב־DagsHub אל תיקיית data מקומית. אין צורך בבקשת גישה מיוחדת למאגר, אך התהליך דורש נפח אחסון לתמונות וזמן הורדה מקבצי מקור שחלקם עלולים להיות שבורים.
from datasets import load_dataset
ds = load_dataset("mengcy/LAION-SG")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש מסחרי, שינוי והפצה, ומחייב רק מתן קרדיט ושמירה על הודעת הרישיון המקורית. אין דרישה לשתף תוצרים באותו רישיון, ומבחינה זו מותר לאמן מודלים לשימוש מסחרי, אך יש לזכור שזכויות היוצרים על התמונות עצמן אינן מוסדרות ברישיון זה.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש