minimind-v_dataset

מה זה

המאגר מבוסס כולו על סדרת ALLaVA-4V, ומכיל נתונים משני מקורות עיקריים: תמונות טבעיות מתוך LAION לצד תרשימים, מסמכים וסצנות סינתטיות מתוך VFLAN. כל התמונות עברו שינוי גודל אחיד לממדים של 256 על 256 פיקסלים וקודדו מחדש כקובצי JPEG שמוטמעים ישירות בתוך הקבצים.

הנתונים מחולקים לשני קובצי parquet מרכזיים. הקובץ pretrain_i2t.parquet מכיל כ־127万 רשומות המיועדות ליישור ראשוני בין תמונה לטקסט, ומבוסס על כ־64万 תמונות ייחודיות עם הנחיות פשוטות לבקשת תיאור מפורט. החלוקה הפנימית שלו כוללת כ־47万 תיאורים באנגלית וכ־44万 בסינית ממקור LAION, יחד עם כ־19万 באנגלית וכ־17万 בסינית ממקור VFLAN.

הקובץ השני, sft_i2t.parquet, מכיל כ־290万 רשומות המיועדות לשלב הכוונון העדין ומבוסס על כ־65万 תמונות ייחודיות. הוא כולל כ־140万 שיחות הוראה רב שלביות, הרחבות סינתטיות שנבנו באמצעות Gemini ו־Claude (כ־5万) וליטושים מבוססי GPT-4o (כ־5万), את כל נתוני קובץ האימון המקדים (כ־127万), ועוד כ־23万 שיחות טקסט בלבד שבהן שובצה תמונה שחורה בגודל 8 על 8 כדי לשמר יכולות שפה כלליות.

מתאים ל

• יישור ראשוני של תמונה לטקסט

  אימון שכבת חיבור בין מקודד ויזואלי למודל שפה באמצעות כ־127万 תיאורי תמונה בקובץ האימון המקדים.

• אימון מענה על שאלות מתמונה

  כוונון מודלים להסקה ויזואלית באמצעות כ־140万 שיחות והוראות מפורטות על גבי תמונות בסינית ובאנגלית.

• שימור יכולות שיחה טקסטואלית

  אימון מודל רב מודלי מבלי שישכח הבנת שפה כללית, בעזרת כ־23万 רשומות דיאלוג ללא תמונה ממשית.

איפה זה נופל

התמונות הוקטנו כולן לרזולוציה של 256 על 256 פיקסלים כדי להתאים למקודד SigLIP2 NaFlex, כך שפרטים עדינים בתרשימים או בטקסטים צפופים אובדים לחלוטין. אין במאגר עברית כלל, אלא רק אנגלית וסינית. בנוסף, כ־23万 מתוך הרשומות בקובץ הכוונון אינן כוללות מידע ויזואלי אמיתי אלא תמונה שחורה בגודל 8 על 8, מה שדורש תשומת לב בזמן בניית צינור הנתונים כדי לא לפגוע בהסקה הוויזואלית.

איך טוענים

הנתונים מוגשים בקובצי parquet ללא צורך באישור גישה מוקדם. בכל רשומה יש שתי עמודות עיקריות: conversations שמכילה מחרוזת JSON של השיחה עם תגיות התמונה, ו־image_bytes שמחזיקה את נתוני התמונה הבינאריים. אין צורך להוריד תמונות בנפרד מהרשת, אך התמונות כבר הוקטנו לרזולוציה נמוכה של 256 על 256 פיקסלים. כיוון שקובץ ה־SFT בולע בתוכו את כל נתוני האימון המקדים, אפשר לעבוד ישירות מול sft_i2t.parquet ולדלג על השלב הראשון לחלוטין.

from datasets import load_dataset

ds = load_dataset("jingyaogong/minimind-v_dataset")

הרישיון

המאגר מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה של הנתונים ושל מודלים שאומנו עליהם, ללא דרישה לשיתוף תחת אותו רישיון. נדרש לכלול הצהרת זכויות יוצרים, עותק של הרישיון וציון השינויים שבוצעו בקבצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗