Graph200K
קוד פתוחVisualClozeapache-2.02025-03-29
מאגר נרחב למשימות תמונה לתמונה עם מגוון תיוגים גיאומטריים, סגנוניים ועריכתיים לכל דוגמה. הוא מתאים למי שמאמן מודלים של למידה מבוססת הקשר חזותי ולא רוצה לחלץ מפות עומק ומסכות בעצמו.
- 2,150הורדות בחודש
- 18לייקים
מה זה
המאגר מכיל בין מאה אלף למיליון רשומות המחולקות לסט אימון וסט בדיקה. הבסיס נלקח מתוך מאגר Subjects200K, כאשר תמונת המקור והאובייקט המרכזי מגיעים ישירות ממנו. עליהם נוספו שכבות סינתטיות רבות שמיועדות לחמישה סוגי משימות: יצירה מותנית, שחזור תמונה, עריכה, שימור זהות והעברת סגנון.
כל רשומה עמוסה במידע מעובד. יש בה תמונות שעברו שינוי סגנון דרך InstantStyle ו־ReduxStyle עם תמונות הרפרנס שלהן, גרסאות ערוכות של החלפת אובייקט או רקע, ומטא-דאטה טקסטואלי באנגלית. לצד אלה מצורפות מפות עזר שחולצו במודלים ייעודיים: סגמנטציה של SAM2 ו־Qwen-2.5-VL, עומק מ־Depth Anything V2, קווי מתאר של Canny ו־HED, פני שטח מ־DSINE ותנוחות של OpenPose.
לפי התיעוד, הסינון מתבסס על ציוני איכות שמגיעים מ־Subjects200K. היוצרים של VisualCloze ממליצים לסנן החוצה צמדי תמונות שבהם ציון עקביות האובייקט, objectConsistency, נמוך או שווה לשלוש, כדי למנוע רעש באימון.
מתאים ל
- אימון מודלי הקשר חזותי
לימוד מודלים לבצע פעולות מרובות כמו שילוב סגנון, אובייקט ומבנה באותה יצירה.
- עריכת תמונה מונחית עומק
אימון רשתות לשינוי רקע או החלפת אלמנטים על בסיס מפות DSINE ו־Depth Anything V2.
- בדיקת שמירת זהות אובייקט
הערכת היכולת של מודלים גנרטיביים לשמור על עקביות של נושא ספציפי על פני סגנונות שונים.
איפה זה נופל
הנתונים נשענים על עיבודים אוטומטיים של מודלים אחרים. מפות העומק, התיחומים והמסכות הופקו באמצעות כלי בינה מלאכותית כמו SAM2 ו־Qwen, ולכן הן כוללות שגיאות זיהוי והזיות של אותם מודלים. בנוסף, כל הטקסטים והתיאורים הם באנגלית בלבד. התמונות הערוכות נוצרו באופן סינתטי, כך שמי שמחפש עריכות צילום טבעיות מהעולם האמיתי יקבל דוגמאות מלאכותיות עם פגמי עריכה אופייניים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, רישיון Apache 2.0 מאפשר שימוש מסחרי מלא. תוכלו לאמן עליו מודלים ולשלב אותם במוצרים מסחריים בלי לחשוף את הקוד שלכם, כל עוד אתם שומרים על תנאי הייחוס של הרישיון.
האם יש במאגר תמיכה בעברית?
לא. שדות המטא-דאטה, תיאורי האובייקטים וההנחיות שנמצאים בקבצים כתובים באנגלית בלבד. אם המודל שלכם תלוי בפרומפטים בעברית, תצטרכו לתרגם את השדות או להשתמש בו רק למשימות שאינן דורשות טקסט.
מאיפה הגיעו התמונות והתיוגים?
הבסיס מגיע ממאגר Subjects200K, ועליו הולבשו תיוגים שנוצרו על ידי שורה של מודלים. בין השאר תמצאו שם פלטים מ־SAM2, Qwen-2.5-VL, OpenPose ו־Depth Anything V2, יחד עם עריכות שנוצרו במחוללי תמונות שונים.
איך מסננים דוגמאות באיכות נמוכה מתוך המאגר?
היוצרים ממליצים להשתמש בציון objectConsistency שמגיע מהמאגר המקורי. הסינון שהם ביצעו במחקר שלהם מסיר כל צמד תמונות שבו הציון הוא שלוש או פחות, כדי לוודא שהאובייקט הנלמד אכן נשמר בצורה טובה.
איך טוענים
המאגר מאוחסן בפורמט Arrow ומחולק למאות קבצים, כולל 380 קבצי נתונים בסט האימון ושניים בסט הבדיקה. אין צורך בבקשת גישה מיוחדת, הוא פתוח להורדה ישירה דרך ספריית datasets. שדות התמונה, כמו depth או קווי canny, נטענים כאובייקטי PIL.Image ישירות מהקובץ. בגלל ריבוי השדות והמסכות לכל רשומה, כדאי לשים לב לנפח האחסון בדיסק ולמשוך רק את העמודות הרלוונטיות למשימה שלכם במקום לפרוק את כל המאגר בבת אחת.
from datasets import load_dataset
ds = load_dataset("VisualCloze/Graph200K")הרישיון
המאגר מפורסם תחת רישיון Apache 2.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה, ללא דרישה לשתף את השינויים או את המודל המאומן תחת אותו רישיון. החובה העיקרית היא מתן קרדיט ושמירה על הודעות זכויות היוצרים של היוצרים המקוריים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים