dr-tulu-sft-data
קוד פתוחrl-researchodc-by2025-11-13
המאגר כולל מסלולי אימון מלאים של מודלים עם עקבות חשיבה, קריאות לכלים ותשובות שמכילות ציטוטים. הוא מיועד למי שרוצה לאמן מודל לפעולות חיפוש ומחקר עם ביסוס מקורות.
- 309הורדות בחודש
- 30לייקים
מה זה
הרשומות במאגר מייצגות טרייקטוריות מלאות של אימון בהנחיה ישירה. בכל דוגמה תמצאו את הפרומפט המקורי לצד תהליך החשיבה, הפעלת הכלים שהמודל ביצע בדרך, והתשובה הסופית שכוללת ציטוטים מהמקורות שנמצאו.
הפרומפטים נאספו ממגוון רחב של מקורות קיימים. הם כוללים שאילתות מחקר מתוך OpenScholar, פרומפטים מתוך Search Arena, ומאגרי שאלות ותשובות קצרות כמו WebWalker-Silver, TaskCraft, PopQA וגרסת האנגלית של TyDiQA. לפי כרטיס המאגר, ישנם חלקים שלמים שעדיין חסרים כאן: פרומפטים שמבוססים על MegaScience, HotpotQA ו־ScholarQA לא נכללים בקובץ הנוכחי, ואמורים לצאת בנפרד בהמשך.
מתאים ל
- אימון מודל חיפוש ומחקר
לימוד מודלים לבצע קריאות לכלים חיצוניים, לבדוק מקורות ולהחזיר תשובות עם ציטוטים מדויקים.
- חיזוק תהליכי חשיבה
שימוש בעקבות ההסקה המובנות כדי לשפר יכולות reasoning לפני מתן מענה לשאלות מורכבות.
- אימון שאלות ותשובות קצרות
כוונון המודל לעבודה יעילה מול שליפת עובדות מהירה על בסיס דוגמאות ממאגרים כמו PopQA.
איפה זה נופל
הנתונים מתבססים בעיקר על שאילתות באנגלית, כולל בחלקים שנלקחו ממאגרים רב-לשוניים כמו TyDiQA, כך שאין כאן תמיכה מובנית בעברית. בנוסף, מדובר בגרסה חלקית. הכרטיס מציין במפורש שחלקים מרכזיים מבוססי HotpotQA, ScholarQA ו־MegaScience חסרים כרגע, מה שעלול להגביל משימות שמצריכות הסקה מורכבת על פני כמה מסמכים. לפני שרצים לאמן מוצר, קחו בחשבון שהאיכות תלויה בדיוק של הציטוטים ושל הכלים שהופעלו במסלול המקורי.
שאלות
נפוצות
האם המאגר כולל עברית?
לא, הנתונים ממוקדים באנגלית. אפילו ממאגרים רב-לשוניים כמו TyDiQA היוצרים לקחו במפורש רק את תת-הקובץ האנגלי. אם אתם צריכים אימון בעברית, תצטרכו לתרגם את החומר או לחפש מקור אחר.
מה חסר בגרסה הנוכחית של המאגר?
בכרטיס נכתב שהקובץ אינו מכיל את כל הנתונים של פרויקט Dr Tulu. חסרים תתי-המאגרים שנוצרו על בסיס MegaScience, HotpotQA ו־ScholarQA. היוצרים ציינו שהחלקים האלה יפורסמו בנפרד בהמשך.
מאיפה נאספו הפרומפטים לאימון?
השאילתות מגיעות משילוב של כמה מקורות קיימים ברשת. הן נלקחו מ־OpenScholar, מ־Search Arena, ומאוספי שאלות ותשובות כמו WebWalker-Silver, TaskCraft ו־PopQA. הטרייקטוריות עצמן נבנו כדי לכלול צעדי חשיבה ושימוש בכלים.
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון הבסיסי הוא ODC-BY שמאפשר שימוש חופשי תחת מתן קרדיט. יחד עם זאת, היוצרים הפנו להנחיות השימוש של מכון אלן וציינו ייעוד למחקר וחינוך. מומלץ לבדוק את התנאים של המכון ואת רישיונות מקורות הפרומפטים לפני שימוש מסחרי.
איך טוענים
טוענים את הנתונים ישירות מספרית datasets דרך המזהה rl-research/dr-tulu-sft-data. אין כאן תהליך אישור גישה או שאלונים, המאגר פתוח להורדה ישירה. הקובץ המרכזי מגיע בפורמט train.jsonl פשוט, עם גודל שנע בין עשרת אלפים למאה אלף שורות. המאגר דורש פריסה של מסלולי ההסקה, כך שלפני שרצים על אימון כדאי לוודא שהפייפליין שלכם יודע לפרק את קריאות הכלים, שלבי החשיבה והציטוטים למבנה שהמודל שלכם מצפה לו.
from datasets import load_dataset
ds = load_dataset("rl-research/dr-tulu-sft-data")הרישיון
הרישיון הוא ODC-BY, שמתיר שימוש, הפצה ושינוי של הנתונים, כל עוד אתם נותנים קרדיט מתאים ליוצרים. הרישיון לא כולל דרישה להפצה תחת אותו רישיון. עם זאת, היוצרים מציינים שהשימוש מיועד למחקר ולחינוך בהתאם לקווי ההנחיה של מכון אלן לבינה מלאכותית, ולכן מומלץ לקרוא את ההנחיות שלהם לפני שמשלבים מודל שאומן על המאגר במוצר מסחרי סגור.