tulu-3-sft-olmo-2-mixture-0225
קוד פתוחallenaiרישיון לא דווח2025-02-21
תערובת נתונים מכווננת לאימון מודלים, שנוצרה עבור OLMo 2 32B. היא כוללת סינון מחמיר של הזכרות תאריכי יעד סינתטיים וחיזוק תשובות מתמטיות באמצעות רוב קולות.
- 1,252הורדות בחודש
- 22לייקים
מה זה
המאגר כולל נתוני כוונון עדין שנבנו על בסיס Tülu 3, במטרה לשמש לאימון גרסת הדגל של אלן AI. התוכן עבר תהליכי ניקוי ממוקדים, שבהם הוסרו הוראות ותשובות שהכילו אזכורים של מועדי חיתוך תאריכים שנוצרו בתהליך הסינתטי. הצעד הזה מונע מהמודל לפתח עיוותים לגבי השנה שבה הוא פועל.
בנוסף, חלק המתמטיקה עבר סינון מחודש. עבור נתוני מתמטיקה וחשבון של בתי ספר יסודיים מבוססי פרסונות, הוכנסו רק שאלות ותשובות שבהן המודל הגיע להסכמת רוב מתוך חמש השלמות שונות. תת-הקבוצות הישנות הוסרו ובמקומן שולבו הנתונים המסוננים.
מתאים ל
- אימון הוראות למודלים פתוחים
כוונון מודלים על הוראות מגוונות שעברו סינון של תאריכים והזיות ידע.
- שיפור פתרון בעיות בחשבון
אימון יכולות מתמטיות בעזרת דוגמאות שאומתו באמצעות רוב קולות בין השלמות.
- שחזור תוצאות OLMo 2 32B
שימוש באותם נתונים בדיוק כדי להעריך או לשחזר את שלב ה־SFT של המודל.
איפה זה נופל
הנתונים מתבססים בעיקר על ייצור סינתטי, כך שאיכותם מוגבלת ליכולות המודלים שיצרו אותם מלכתחילה. למרות שבוצע סינון של תאריכי יעד ושל שגיאות מתמטיות, לא פורסמו פרטים על כיסוי שפות מעבר לאנגלית, ואין מידע לגבי עברית. שימוש במאגר למוצרים מקומיים ידרוש בדיקה ידנית של איכות התשובות והתאמתן לדרישות המערכת שלכם.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
נכון לעכשיו לא פורסם רישיון רשמי למאגר הזה. ללא רישיון כתוב שמגדיר זכויות מסחריות, כל שימוש עסקי כרוך בסיכון משפטי. עדיף להמתין לעדכון המאגר או לבקש הבהרה מהצוות של אלן AI לפני שמשלבים אותו במערכות פנימיות.
האם המאגר כולל דוגמאות בעברית?
בתיעוד המאגר לא מצוינת תמיכה בעברית, והוא נבנה סביב תערובות אנגלית ומתמטיקה סינתטית. אם המטרה היא לאמן מודל שיבין עברית, הנתונים כאן לא יעזרו. תצטרכו לערבב אותם עם מאגרי הוראות ייעודיים בשפה.
מה ההבדל בינו לבין תערובות Tülu 3 קודמות?
הגרסה הזו עברה שני שינויים ממוקדים. מפתחות ספציפיים נוקו מתאריכי סף סינתטיים שבלבלו את המודלים הקודמים. בנוסף, נתוני המתמטיקה הוחלפו לחלוטין בדוגמאות שעברו אימות ברוב קולות של חמש הרצות.
איך טוענים
טוענים את המאגר ישירות בעזרת ספריית datasets דרך המזהה ב־Hugging Face, בלי צורך בטופסי הרשמה או אישור מיוחד. הנתונים מפוצלים לשישה קובצי parquet שונים בתיקיית המידע. כדאי לשים לב שבסקריפט העיבוד המקורי הוסרו המפתחות של הפרומפט המקורי ושם תת-המאגר, כך שמבנה הנתונים מחזיק רק את השדות הנקיים שנועדו להזנה ישירה לתהליך האימון.
from datasets import load_dataset
ds = load_dataset("allenai/tulu-3-sft-olmo-2-mixture-0225")הרישיון
הרישיון של המאגר לא דווח בעמוד הרשמי. במצב כזה לא מומלץ להשתמש בו לפיתוח מסחרי או למוצרים בארגון, משום שאין הגדרה משפטית של תנאי השימוש, חובת הייחוס או הדרישות לגבי שיתוף מודלים שמאומנים עליו.