InfLLM-V2-data-5B

מה זה

המאגר כולל טקסטים ארוכים שנאספו משילוב של מקורות רשת, קוד מקור, מאמרים מדעיים וויקיפדיה, לצד נתונים פנימיים שפותחו על ידי הצוות של openbmb. הדגש כאן הוא על אימון המשך שמטרתו לפתוח יכולות עיבוד של הקשר ארוך במודלים קיימים, ספציפית סביב שיטת הקשב הדליל של InfLLM-V2.

כל רשומה מגיעה בשני שדות בלבד: שדה text המכיל את הטקסט הגולמי, ושדה input_ids שמכיל רשימת מספרים של מזהי טוקנים. הטוקניזציה בוצעה מראש עם הטוקנייזר של מודל MiniCPM4.1-8B, כך שמי שמשתמש במודל הזה מקבל את הנתונים מוכנים להזנה ישירה. החלוקה הפנימית מורכבת מ־20 קובצי Parquet שונים תחת חלוקת האימון train, ללא פיצול מובנה לולידציה או מבחן.

מתאים ל

• אימון מודל להקשר ארוך

  הרחבת חלון ההקשר במודלים קיימים בעזרת אימון המשך ממוקד על טקסטים ארוכים.

• שחזור InfLLM-V2

  אימון משקלי הבסיס הקצרים של המודל כדי לשחזר את ביצועי הקשב הדליל שפורסמו.

• מחקר קשב דליל

  בדיקת ארכיטקטורות קשב שונות על דאטהסט ארוך בגודל מוגדר של 5B טוקנים.

איפה זה נופל

הנתונים מכסים רק אנגלית וסינית, ואין בו שום תמיכה בעברית. בנוסף, מעבר לציון כללי של המקורות כמו ויקיפדיה ומאמרים, אין בכרטיס שום פירוט על שיטות הסינון, מילות מפתח שנפסלו או בדיקות כפילות. שדה ה־input_ids חסר תועלת אם אתם לא מאמנים את MiniCPM4, והעובדה שחלק מהתוכן הוא דאטה פנימי שלא פורט מקשה על איתור הטיות לפני שמריצים אימון יקר.

איך טוענים

טוענים את הנתונים דרך ספריית datasets של Hugging Face. בגלל שמדובר ב־20 קובצי Parquet שמכילים חמישה מיליארד טוקנים, ההמלצה הישירה של היוצרים היא להפעיל מצב streaming כדי למנוע קריסה של זיכרון ה־RAM. אין צורך באישור גישה מיוחד, המאגר ציבורי לחלוטין. אם אתם עובדים עם מודל אחר שאינו MiniCPM4, תצטרכו להתעלם משדה ה־input_ids ולהריץ טוקניזציה מחדש על שדה ה־text.

from datasets import load_dataset

ds = load_dataset("openbmb/InfLLM-V2-data-5B")

הרישיון

המאגר מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי, מחקרי, שינוי והפצה, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי. אין חובה לשתף נגזרות תחת אותו רישיון, ומודל שאומן על הנתונים אינו מחויב להיפתח לציבור.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗