Nemotron-Image-Training-v3

מה זה

המאגר מרכז 76 תת מאגרים שונים ומכיל כ 6.9 מיליון רשומות שמסתכמות ב 39.56 מיליארד טוקנים. הרשומות בנויות כשיחות מרובות הודעות בפורמט JSONL, המיועדות למשימות שאלות ותשובות על תמונות, פענוח טקסט מתמונה והסקה לוגית חזותית.

המקורות מבוססים על דאטהסטים ציבוריים מוכרים כמו AOKVQA או CC3M, לצד קובצי PDF וסריקות בסינית. התיוגים לא נכתבו בידי אדם אלא חולצו ונוצרו באופן סינתטי על ידי מודלים דוגמת סדרת Qwen 3 ו Qwen 3.5, כאשר חלק מהנתונים עברו אימות נוסף באמצעות Gemini 3 Flash.

מתאים ל

• אימון הוראות למודלי ראייה

  לימוד מודלים רב מודליים לענות על שאלות מורכבות סביב תמונות ותרשימים.

• שיפור יכולות OCR והסקה

  אימון על מסמכים וקבצי PDF כדי לחלץ טקסט ולבצע עליו ניתוח לוגי ישיר.

• בדיקת איכות נתונים סינתטיים

  הערכת היעילות של תוויות שנוצרו על ידי מודלים מתחרים באימון רשתות ראייה.

איפה זה נופל

התמונות אינן כלולות במאגר, כך שאם קישורים מקוריים נשברו ברשת, חלק מהדוגמאות יאבדו לחלוטין. התיוגים כולם סינתטיים ונוצרו על ידי מודלים אחרים, מה שמכניס הזיות וטעויות זיהוי מובנות שלא סוננו בידי אדם. בנוסף, חלקים גדולים מוקדשים לסינית ואנגלית, ואין כל עדות לקיומו של תוכן בעברית או התאמה למסמכים מישראל.

איך טוענים

אין כאן קובץ תמונות ענק שאפשר פשוט להוריד ולהתחיל לרוץ. המאגר מספק 500 קבצים הכוללים טקסט בפורמט JSONL וקובצי אינדקס, בעוד שהמדיה עצמה מופיעה רק כהפניות ונתיבים. עליכם להוריד את התמונות בעצמכם ממקורות המקור לפי ההוראות בכל תיקייה, ולסדר אותן במבנה תיקיות תואם כדי שהנתיבים ייפתחו. הפורמט מותאם לטעינה עם Megatron Energon של אנבידיה ואינו דורש אישור גישה מיוחד.

from datasets import load_dataset

ds = load_dataset("nvidia/Nemotron-Image-Training-v3")

הרישיון

המאגר מופץ ברישיון CC-BY-4.0 שמתיר שימוש מסחרי, שינוי והפצה, בתנאי שניתן קרדיט מתאים. הרישיון חל על קובצי הטקסט והשיחות, אך מכיוון שהתמונות נמשכות ממקורות חיצוניים שונים, חובה לבדוק בנפרד את תנאי השימוש של כל מקור מדיה לפני שמאמנים עליו מודל מסחרי.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗