L2P-dataset
קוד פתוחzhen-nanapache-2.02026-05-14
המאגר כולל תמונות סינתטיות שנוצרו ממודלי דיפוזיה כדי לאמן מודלים ישירות במרחב הפיקסלים. הוא מיועד למי שרוצה לדלג על VAE ולחסוך איסוף תמונות אמיתיות.
- 142הורדות בחודש
- 25לייקים
מה זה
המאגר בנוי סביב הרעיון של אימון מודלים במרחב הפיקסלים בלי לגעת בתמונות מהעולם האמיתי. במקום לגרד מיליוני תמונות מהרשת, החוקרים ייצרו את כל הדאטה מתוך מודלי דיפוזיה קיימים במרחב הלטנטי. המטרה של התמונות הסינתטיות האלו היא לספק מרחב נתונים חלק שמאפשר למודל להתכנס מהר ובמשאבי חישוב צנועים יחסית של שמונה מעבדים גרפיים בלבד.
לפי מבנה הקבצים במאגר, הנתונים מחולקים לפי מודלי המקור ששימשו ליצירתם. רואים שם תיקיות ייעודיות עבור ארכיטקטורות שונות, כולל Flux-klein-4B-Base, Qwen-Image-2512-Base וכן z-image. בכל אחת מהתיקיות האלו שמור קובץ דחוס בשם L2P_20k_save_seed.tar, מה שמעיד על סטים של עשרים אלף דגימות סינתטיות שנשמרו יחד עם הסיד ששימש ליצירתן כדי לשמור על שחזור מדויק של הניסויים.
מתאים ל
- אימון מודלי פיקסלים
הסבת מודלי דיפוזיה לעבודה ישירה על פיקסלים ללא צורך במפענח VAE.
- יצירה ברזולוציית 4K
אימון שכבות שטחיות להפקת תמונות ברזולוציה גבוהה בלי צווארי בקבוק של זיכרון.
- שחזור ניסויי L2P
בדיקת תוצאות המחקר והשוואת ביצועים מול המודלים המקוריים על בנצ'מרקים.
איפה זה נופל
החיסרון המרכזי כאן הוא שמדובר בדאטה סינתטי לחלוטין. אין פה אף תמונה אמיתית, מה שאומר שכל עיוות, חוסר דיוק או הטיה של מודלי הבסיס כמו פלקס או קוון נכנסים ישירות לתוך הנתונים האלה. בנוסף, כרטיס הדאטהסט לא מפרט אילו פרומפטים הזינו את המודלים, באיזה שפות הם נכתבו, והאם יש ייצוג כלשהו לטקסטים שאינם באנגלית. אם אתם בונים מוצר שצריך להתמודד עם תמונות מציאותיות מגוונות או מורכבות תרבותית, אי אפשר להסתמך על המאגר הזה בלי לבדוק קודם איך המודל שלכם מתמודד עם נתוני אמת.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה במוצר מסחרי?
כן, הרישיון המדווח הוא apache-2.0, שמאפשר שימוש מסחרי חופשי. אתם רק צריכים לספק ייחוס מתאים ולצרף את תנאי הרישיון המקורי בהפצה שלכם.
האם הדאטהסט כולל תמונות בעברית או פרומפטים בעברית?
הכרטיס לא מזכיר תמיכה בעברית כלל. התמונות נוצרו ממודלים גדולים שמתבססים בעיקר על אנגלית, ואין עדות לטקסטים או לתיאורים בשפות אחרות במאגר.
איך נאספו הנתונים במאגר הזה?
הנתונים לא נאספו מהאינטרנט. הם נוצרו באופן מלאכותי מתוך מודלי דיפוזיה קיימים כמו Flux ו־Qwen, תוך שמירת ה־seed של כל תמונה כדי לאפשר אימון ממוקד על מרחב נתונים סינתטי.
באיזה פורמט הקבצים מגיעים ואיך פותחים אותם?
המאגר מכיל חמישה קבצים, כאשר הנתונים העיקריים שמורים כארכיוני tar מחולקים לפי סוג המודל. מורידים את קובץ ה־tar הספציפי שצריכים ופותחים אותו ישירות במערכת ההפעלה.
איך טוענים
המאגר פתוח לגישה ציבורית ישירה ואין צורך בהרשאות מיוחדות או בחתימה על טופסי גישה כדי להוריד אותו. הנתונים לא מגיעים בטבלאות מסודרות של פארקט, אלא כחבילות ארכיון בפורמט tar שיושבות תחת התיקיות של כל מודל מקור. כדי לעבוד איתם בפועל, אתם מורידים את קובצי ה־tar הרלוונטיים למודל המטרה שלכם, פותחים אותם מקומית ומחלצים את התמונות וההגדרות. חשוב לשים לב לשמות הקבצים שמכילים את נתוני ה־seed, שכן הם קריטיים כדי להתאים את הדגימות לתהליך המעבר ממרחב לטנטי לפיקסלים.
from datasets import load_dataset
ds = load_dataset("zhen-nan/L2P-dataset")הרישיון
המאגר מופץ תחת רישיון apache-2.0, וזה רישיון מתירני מאוד. אתם יכולים לקחת את הנתונים, להשתמש בהם למחקר, לשנות אותם ולשלב אותם בפרויקטים מסחריים בלי לשלם תמלוגים ובלי חובה לפתוח את הקוד שלכם. הדרישה העיקרית היא שמירה על הודעת זכויות היוצרים והרישיון המקורי. המודלים שתאמנו על הדאטהסט הזה אינם כבולים ברישיון נגיפי, כך שהתוצרים שלכם נשארים שלכם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים