Dolci-Think-SFT-32B
קוד פתוחallenaiodc-by2025-11-17
מאגר אימון מקיף שמביא עקבות חשיבה מפורטים לפתרון בעיות ומעקב אחר הוראות מורכבות. הוא נבנה במיוחד לפוסט טריינינג של מודלים גדולים כדי להקנות להם יכולות הנמקה.
- 5,075הורדות בחודש
- 31לייקים
מה זה
המאגר מאגד מיליוני דוגמאות אימון בפורמט שיחה, כאשר כל תשובה של העוזר נפתחת בתהליך חשיבה מפורט שמוגדר בתגיות ייעודיות, ומיד לאחריו מופיע הפתרון הסופי ללא תגיות סגירה מיוחדות. הנתונים מתבססים על שילוב של מקורות קיימים כמו אופן ת׳וטס 3 שהורחב להקשר של 32 אלף טוקנים, דגימות קוד מנמוטרון, ומערכי נתונים מאומתים מפריים אינטלקט.
לצד המקורות הקיימים, החוקרים ייצרו תכנים מקוריים שמתמקדים במעקב מדויק אחר הוראות מרובות אילוצים, פרסונות ופתרון בעיות פייתון. בנוסף, הם לקחו פרומפטים מפרויקטים מוכרים כמו ווילד צ׳אט, גואנקו ואיה, וייצרו עבורם עקבות חשיבה חדשים בעזרת מודלי דיפ סיק אר 1, תוך סינון איכות קפדני והסרת בקשות שנחסמו ברמת השרתים.
מתאים ל
- אימון מודלי חשיבה
לימוד מודל בסיס לייצר תהליך חשיבה מובנה בתגיות ייעודיות לפני שליפת התשובה.
- מעקב אחר הוראות מורכבות
אימון על משימות עם אילוצים נוקשים ופרסונות מוגדרות מראש.
- פתרון בעיות תכנות
שיפור ביצועי קוד בפייתון באמצעות מאות אלפי דוגמאות מנותחות.
איפה זה נופל
המאגר מוגדר כולו באנגלית, כך שהוא לא יסייע למי שמחפש ללמד מודל לחשוב או לענות בעברית. חלק גדול מהנתונים הוא סינתטי ומגיע מעקבות שנפלטו ממודלי דיפ סיק, מה שמביא איתו את ההטיות והטעויות האופייניות להם. מעבר לכך, הסינון האוטומטי שהתבצע הסיר בקשות שנחסמו בממשקי אז׳ור, כך שקיימת הטיה מובנית בנושאים שעברו סינון תאגידי, לצד הכללת 58 פרומפטים ייעודיים לזהות של אולמו שצריך לנקות לפני אימון מודל עצמאי.
אותה משפחה
Dolci-Think יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם יש בדאטהסט תמיכה בעברית?
לא, המאגר כולו באנגלית בלבד. אם תאמנו עליו מודל כדי שיענה בעברית, הוא לא ילמד לחשוב או לנמק בשפה המקומית.
האם מותר להשתמש בו למוצר מסחרי?
הרישיון המוצהר הוא או די סי בי שדורש ייחוס, אך המפרסמים מציינים כוונת שימוש למחקר וחינוך לפי כללי השימוש שלהם. בנוסף, הנתונים כוללים פלטים שנוצרו במודלים של דיפ סיק, מה שעלול לייצר מגבלות מסחריות בעקיפין.
באיזה פורמט שמורות התשובות?
כל תשובה מכילה את שלב החשיבה בתוך תגיות ייעודיות, והמענה הסופי מגיע מיד לאחר סגירת התגית. אין במאגר תגיות מיוחדות שמסמנות את התשובה הסופית עצמה.
מה ההבדל בין המאגר הזה לגרסת 7B?
המאגר הזה נבנה וסונן במיוחד לשלב הפוסט טריינינג של מודל ה 32B במשפחת אולמו 3. גרסת ה 7B מכילה תמהיל דגימות וסינונים שונה מעט שהותאם למודל הקטן יותר.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית הדאטהסטס הרגילה ללא צורך באישור גישה או הרשמה מוקדמת. המאגר מפוצל ל 157 קובצי פארקט שונים שיושבים בתיקיית המידע, כך שמומלץ לבצע הזרמה מקוונת או להוריד מקבילית רק את החלקים הנחוצים במקום למשוך הכל בבת אחת לדיסק המקומי. כל רשומה כוללת מזהה ייחודי, מחרוזת שמציינת את מקור הנתון הספציפי, ומערך הודעות שמכיל את תור המשתמש ואת תור המודל עם תגיות ההנמקה.
from datasets import load_dataset
ds = load_dataset("allenai/Dolci-Think-SFT-32B")הרישיון
המאגר מופץ תחת רישיון או די סי בי, שמחייב בעיקר מתן קרדיט וייחוס מתאים למפרסמים. הרישיון פתוח ומתיר שימוש מחקר וחינוך, אך יש לשים לב שהמקורות הפנימיים מגיעים משילוב של רישיונות אפאצ׳י, קריאייטיב קומונס ומיט, לצד הנחיות השימוש האחראי של אלן אי איי, מה שמחייב בדיקה משפטית לפני שילוב במוצר מסחרי סגור.