SenseNova-SI-8M
קוד פתוחsensenovaapache-2.02026-04-29
מאגר ענק של שמונה מיליון דוגמאות שנועד ללמד מודלים רב-מודאליים להבין מרחב, זוויות וקשרים תלת ממדיים. הוא מיועד למי שמאמן מודל ראייה ולא מקבל תוצאות מספקות במשימות תפיסה מרחבית.
- 1,935הורדות בחודש
- 22לייקים
מה זה
במאגר יש כ־8.16 מיליון דוגמאות אימון שמתבססות על כ־2.72 מיליון תמונות ייחודיות. כל רשומה מייצגת שיחה מובנית בין אדם למודל, שמטרתה לחזק הבנה מרחבית סביב תמונות נתונות. הנתונים מאורגנים תחת טקסונומיה מוגדרת של יכולות מרחביות, מתוך מטרה להתמודד עם כשלים מוכרים של מודלי שפה וראייה גדולים. הכרטיס לא מפרט את מקורות התמונות המדויקים, אך מציג את הנתונים ככאלה שסודרו בקפידה תוך התייחסות לסיכוני התאמת יתר וקיצורי דרך טקסטואליים.
המבנה של כל רשומה בקובץ כולל מזהה מספרי, רשימת נתיבים לתמונות הרלוונטיות, ומערך שיחה שמכיל חילופי דברים בין אדם לעוזר. בתוך הטקסט מוטמעים מצייני מיקום ייעודיים לתמונות כדי לקשור בין המלל לחלק הוויזואלי. בניגוד לגרסת 800K שפורסמה קודם ושימשה נקודת ייחוס לחוקי סקיילינג, כאן מדובר בערכת האימון המלאה והרשמית שמציעה פי עשרה דוגמאות אימון.
מתאים ל
- אימון הבנה מרחבית
כוונון עדין של מודלי ראייה-שפה כדי לשפר מענה על שאלות הדורשות תפיסת עומק ויחסים בין עצמים.
- הסקה מרחבית מורכבת
מחקר ואימון של מודלים בשיטות שרשרת מחשבה מרחבית על בסיס מיליוני דוגמאות שיחה.
- מבחני ביצועים מרחביים
שימוש בתשתית להשוואה והערכה של יכולות ראייה מול אמות מידה סטנדרטיות בתחום.
איפה זה נופל
הטקסט בדאטהסט זמין באנגלית בלבד, כך שאין כאן מענה ישיר לשפה העברית. הכרטיס מציין שהחוקרים ניתחו סיכונים של קיצורי דרך שפתיים והתאמת יתר, אך הוא לא חושף מאיפה הגיעו התמונות בפועל או אם נבדקו זכויות יוצרים של צד שלישי במקורות. בנוסף, הנפח העצום של 1.1 טרה-בייט דורש תשתית אחסון וחישוב משמעותית מאוד, מה שהופך שימוש מקומי על חומרה סטנדרטית לבלתי מעשי.
אותה משפחה
SenseNova-SI יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, המאגר מסומן תחת רישיון Apache 2.0 שמאפשר שימוש מסחרי חופשי. עליכם רק לכלול את תנאי הרישיון והודעת זכויות היוצרים המקורית בהפצה.
כמה שטח אחסון צריך כדי לעבוד איתו?
נפח התמונות הכולל עומד על כ־1.1 טרה-בייט. הוא מחולק ל־53 קובצי ZIP נפרדים של כ־21 גיגה-בייט כל אחד, כך שמומלץ להכין לפחות 2.5 טרה-בייט פנויים להורדה ולחילוץ.
האם יש בדאטהסט תוכן בעברית?
לא, הדאטהסט כולל טקסט באנגלית בלבד. אם היעד שלכם הוא מודל שמבין שאלות מרחביות בעברית, תצטרכו לתרגם את השיחות או להוסיף דוגמאות משלכם.
מה ההבדל בין מאגר זה לגרסת ה־800K?
גרסת 800K יצאה קודם ושימשה בעיקר לחקר חוקי סקיילינג, עם כ־832 אלף דוגמאות בלבד. המאגר הנוכחי הוא גרסת האימון המלאה וכולל פי עשרה נתונים, כ־8.16 מיליון דוגמאות אימון.
איך טוענים
הנתונים מגיעים בקובץ JSONL ראשי, לצד קובץ Parquet שמכיל אלף דוגמאות לתצוגה מקדימה. החלק הכבד באמת הוא התמונות, שתופסות כ־1.1 טרה-בייט ומחולקות ל־53 קובצי ZIP עצמאיים של כ־21 גיגה-בייט כל אחד, מלבד האחרון ששוקל כשבעה גיגה-בייט. אין צורך באישור גישה מיוחד כדי להוריד. המאגר כולל סקריפטים מוכנים ב־Bash וב־PowerShell לחילוץ מהיר של כל הארכיונים ישירות לתיקייה אחת שמסדרת את עץ הקבצים.
from datasets import load_dataset
ds = load_dataset("sensenova/SenseNova-SI-8M")הרישיון
המאגר מופץ תחת רישיון Apache 2.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה של הנתונים, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון. אין חובה לשתף נגזרות באותו רישיון, ומודל שמאומן על הדאטהסט לא כבול בהגבלות מיוחדות מעבר לתנאי הרישיון הבסיסיים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים