dolphin-distill
קוד פתוחQuixiAIרישיון לא דווח2025-06-15
האוסף מאחד מעל 11.5 מיליון דוגמאות מ־20 מקורות מוכרים לאימון מודלי שיחה וחשיבה. הוא חוסך את הצורך ללקט ולפרמט בנפרד סטים של מתמטיקה, תכנות ומעקב אחר הוראות.
- 1,536הורדות בחודש
- 20לייקים
מה זה
המאגר מכיל 11,598,465 רשומות שמחולקות לפי 20 מקורות שונים. הרשומות מובנות כמערך שיחה עם תפקידי משתמש ועוזר, לצד ציון שם המקור ומספר התור. התורמים הגדולים ביותר בכמות הדוגמאות הם The-Tome עם כ־24%, smoltalk עם קרוב ל־17%, ו־dolphin-r1 עם כ־11%.
בפועל, חלוקת הטוקנים שונה לגמרי מספירת השורות. משימות הנדסת תוכנה וקוד מתוך SWE-Dev-train ו־SWE-smith-trajectories תופסות קרוב ל־35% מכלל הטוקנים, למרות שהן מהוות רק כ־3% מהדוגמאות. בצד השני, סטים של מתמטיקה ורפואה כמו ReasonMed ו־NuminaMath כוללים המון רשומות קצרות מאוד שתופסות נתח מזערי מנפח הטקסט.
מתאים ל
- אימון SFT כללי
כוונון עדין של מודלי שפה על שיחות מגוונות, מעקב אחר הוראות ופתרון בעיות.
- שיפור ביצועי תכנות
אימון סוכני קוד תוך שימוש במאות אלפי מסלולי פתרון מורכבים ממאגרי SWE.
- פיתוח שרשראות חשיבה
חיזוק יכולות מתמטיות והסבר שלבי באמצעות סטים כמו DeepTheorem ו־OpenThoughts.
איפה זה נופל
השונות באורך הרשומות קיצונית ודורשת טיפול קפדני בבניית הבאצ'ים. כמעט מחצית מהדוגמאות קצרות מ־100 טוקנים, בעוד הדוגמה הארוכה ביותר מגיעה למעל 1.5 מיליון טוקנים, דבר שעלול לרסק את הזיכרון באימון ללא חיתוך. בנוסף, אף שהמקור aya_dataset מביא ייצוג רב-לשוני מסוים שעשוי לכלול מעט עברית, רוב המאגר נשען על קוד, מתמטיקה ואנגלית. הכרטיס אינו מדווח על תהליך סינון כפילויות או בקרת איכות עצמאית מעבר לאיסוף הנתונים מהמקורות.
אותה משפחה
dolphin יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לאימון מודל מסחרי?
לא מומלץ להסתמך עליו למטרות מסחריות ללא בדיקה מעמיקה. יוצרי המאגר לא הגדירו רישיון גלובלי, ציינו שהוא למטרות מחקר, והפנו לרישיונות הבודדים של כל 20 המקורות שמרכיבים אותו.
כמה מקום המאגר תופס והאם צריך חומרה מיוחדת לעיבוד שלו?
הנפח הכולל של הנתונים מוערך בכ־6.15 גיגה-בייט, כך שהורדה ואחסון אינם דורשים ציוד חריג. האתגר העיקרי הוא באימון עצמו, כיוון שישנן דוגמאות קיצוניות באורכן שידרשו סינון או הגבלת אורך הקשר כדי למנוע חריגות זיכרון.
האם הדאטהסט מתאים לפרויקטים בעברית?
המיקוד המרכזי כאן הוא אנגלית, שפות תכנות וחשיבה מתמטית. המקור הרב-לשוני היחיד בתערובת הוא aya_dataset, שמהווה פחות מ־2% מסך הדוגמאות, כך שהמאגר אינו מספק בסיס חזק לעברית.
במה הוא שונה מאיסוף עצמאי של סטים כמו smoltalk או tulu?
הוא מאחד ומפרמט מראש 20 סטים שונים למבנה שיחה אחיד של שאלות ותשובות. עם זאת, הוא אינו מציע סינון איכות ייחודי או עיבוד נוסף מעבר לחיבור הטכני של הנתונים.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות הקריאה ל־load_dataset. הקבצים במאגר שמורים בפורמט Arrow המחולק ל־56 חלקים, לצד קובץ all_distill.jsonl, בנפח כולל שמוערך בכ־6.15 גיגה-בייט. המאגר ציבורי ואינו דורש אישור גישה מראש. כל רשומה כוללת את השדות messages, dataset_source ו־turn_number, כך שאפשר לסנן מקורות לא רלוונטיים בזמן הטעינה.
from datasets import load_dataset
ds = load_dataset("QuixiAI/dolphin-distill")הרישיון
למאגר עצמו לא הוגדר רישיון אחיד, ויוצריו מציינים כי הוא מיועד למחקר ולחינוך ומפנים לרישיונות המקוריים של 20 המקורות. המשמעות היא שאי אפשר להשתמש בו למוצר מסחרי מבלי לבדוק אחד-אחד את תנאי השימוש של כל רכיב, ובמצב הנוכחי המודל שתאמנו עליו חשוף למגבלות משפטיות.