i1-captions
קוד פתוחzlab-princetonmit2026-05-13
המאגר מרכז תיאורים סינתטיים מרובים לעשרות מיליוני תמונות ממקורות ציבוריים מוכרים. הוא נבנה כדי לאמן מודלים של יצירת תמונה מטקסט באמצעות תיאורים מפורטים של מודלי ראייה שפה חזקים.
- 2,142הורדות בחודש
- 21לייקים
מה זה
המאגר מכיל קובצי טקסט בלבד, ללא התמונות עצמן, שנאספו מתוך 12 מאגרי תמונות פופולריים במחקר. המקורות כוללים אוספים קלאסיים כמו ImageNet-22K, מאגר הטבע iNaturalist, מאגרי נוף וצילום כמו Places365 ו־Pexels, לצד מאגרי ענק כמו YFCC עם קרוב למאה מיליון רשומות, ודאטהסטים שממקדים ביצירת טקסט ואיורים כמו RenderedText ו־TextAtlas.
כל רשומה מייצגת תמונה מאחד המאגרים האלה ומכילה תיאורים סינתטיים שנוצרו במיוחד. ברוב המאגרים מופיעות עמודות של עד חמישה תיאורים ארוכים שונים, שנוצרו על ידי Qwen3-VL-30B-A3B כדי לאפשר דגימה אקראית בזמן אימון. בחלק מהאוספים, כמו ImageNet-22K, החוקרים הוסיפו עמודות שמשוות בין מודלים קטנים יותר מסדרת Qwen, גרסאות של תיאורים קצרים, ותיאורים שנוצרו מתמונות מקור ללא חיתוך במרכז.
מתאים ל
- אימון מחוללי תמונות
שימוש בתיאורים המפורטים כדי לאמן מודלי יצירת תמונה מטקסט עם הבנה טובה יותר של פרטים מורכבים.
- מחקר איכות תיאורים
השוואה בין תיאורים שנוצרו על ידי מודלי שפה בגדלים שונים כדי לבדוק השפעה על איכות התוצר הסופי.
- מניעת התאמת יתר
דגימה אקראית בין חמש גרסאות תיאור שונות לכל תמונה כדי לגוון את הקלטים בזמן איטרציות אימון.
איפה זה נופל
החיסרון הגדול ביותר הוא שמדובר בתיאורים בלבד. אין כאן אף קובץ תמונה, וההורדה של התמונות המקוריות ממקורות כמו YFCC או RedCaps נופלת עליכם ודורשת נפחי אחסון אדירים ועבודה ידנית. בנוסף, כל הטקסטים נוצרו על ידי מודלי ראייה שפה ממשפחת Qwen, כך שהם נושאים את כל ההטיות, הטעויות וההזיות האופייניות למודלים האלה. הנתונים כולם באנגלית בלבד, ואין כאן שום תמיכה בעברית או התאמה תרבותית מקומית.
שאלות
נפוצות
האם התמונות עצמן כלולות בהורדה?
לא. המאגר מכיל אך ורק את התיאורים הטקסטואליים בקובצי Parquet. כדי להשתמש בהם לאימון, צריך להוריד את קובצי התמונות המקוריים מהרשת ולבצע הצלבה לפי ההנחיות בקוד של הפרויקט, או להיעזר בקובצי ה־TFRecords המעובדים שהועלו בחלק מהמקרים.
האם מותר להשתמש בזה לפרויקט מסחרי?
הטקסטים עצמם משוחררים תחת רישיון MIT, שמאפשר שימוש מסחרי מלא. עם זאת, אם אתם מחברים את התיאורים לתמונות המקור, אתם כפופים לרישיונות של מאגרי התמונות עצמם, כמו YFCC או Pexels, שלא כולם מתירים שימוש כזה.
האם יש במאגר תמיכה בעברית?
לא, כל התיאורים במאגר נוצרו באנגלית בלבד. אם אתם צריכים לאמן מודל שיבין הנחיות בעברית, תצטרכו לתרגם את הנתונים או להוסיף מאגר תיאורים נפרד.
איך התיאורים האלה נוצרו?
החוקרים הריצו מודלי ראייה שפה מתקדמים, בעיקר Qwen3-VL-30B-A3B, על אוספי תמונות קיימים וביקשו מהם לייצר תיאורים מפורטים של מה שמופיע בתמונה. בחלק מהמאגרים הם יצרו חמישה ניסוחים נפרדים לאותה תמונה בדיוק.
איך טוענים
טוענים את הנתונים דרך ספריית datasets הרגילה של Hugging Face, תוך ציון שם התת מאגר הרצוי, למשל fluxreason. הגישה פתוחה ואין צורך לבקש הרשאות מיוחדות. הנתונים מגיעים בקובצי Parquet שכוללים עמודות טקסט בלבד, כך שמי שרוצה לאמן מודל צריך להוריד את התמונות המקוריות בנפרד ולחבר אותן לפי הקוד של הפרויקט, או להוריד קובצי TFRecords מוכנים שהחוקרים העלו לחלק מהמאגרים ברזולוציות מוגדרות מראש.
from datasets import load_dataset
ds = load_dataset("zlab-princeton/i1-captions")הרישיון
המאגר מפורסם ברישיון MIT, מה שמתיר שימוש חופשי כולל שימוש מסחרי, שינוי והפצה, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי. חשוב לזכור שההיתר הזה חל על קובצי הטקסט שפורסמו כאן, אבל הוא לא משנה את תנאי הרישיון של התמונות המקוריות עצמן, שחלקן מוגבלות בשימוש מסחרי או מוגנות בזכויות יוצרים של צדדים שלישיים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש