חדש Key אחד לכל המודלים, עם הערכת מחיר לפני כל קריאה. יוצרים Key

GPT
R

reasoning-1-1k

קוד פתוח

fluently-setsmit2024-12-21

  • fluently-sets
  • sft
  • alpaca
  • synthetic
  • distilabel

מאגר קטן של כאלף דוגמאות בפורמט אלפקה שמכוון ללימוד מודלים איך להסיק מסקנות ולנתח טעויות בעזרת כוונון עדין. מתאים למי שרוצה ניסוי מהיר בלי להוריד עשרות ג'יגה.

  • 104הורדות בחודש
  • 28לייקים

מה זה

המאגר כולל אלף ומאה וחמישים רשומות בלבד, שנבנו במיוחד עבור שלב הכוונון העדין. המטרה המוצהרת של הנתונים היא ללמד מודלי שפה לחשוב צעד אחר צעד, לפתח תהליכי הסקת מסקנות ולנתח שגיאות של עצמם תוך כדי תנועה. כל המבנה מסודר בפורמט אלפקה המוכר, שכולל בדרך כלל הוראה, קלט אופציונלי ומענה מנומק.

היוצרים בנו את הדוגמאות בעזרת הכלי distilabel מבית argilla, מה שמעיד על תהליך ייצור סינתטי או חצי סינתטי מבוקר. כל המידע שמור בקובץ פרקט יחיד תחת תצורת ברירת המחדל, בלי חלוקה מראש לקבוצות אימון, בדיקה או ולידציה נפרדות. אין בתיעוד פירוט מעבר לכך לגבי מקור הטקסטים המקורי או אופן הסינון שלהם.

מתאים ל

  • אימון הסקה ראשוני

    תוספת של דפוסי חשיבה וניתוח טעויות למודל שכבר עבר אימון בסיסי.

  • בדיקת היתכנות מהירה

    הרצת בדיקות על תשתית אימון עם קובץ קל משקל שרץ תוך דקות ספורות.

  • הרחבת דאטהסט קיים

    ערבוב של כאלף דוגמאות מובנות אל תוך מאגר קיים בפורמט אלפקה.

איפה זה נופל

החיסרון המרכזי כאן הוא הנפח המצומצם, אלף ומאה וחמישים דוגמאות לא יספיקו לבדן לאימון מודל מלא מאפס ועלולות לגרום לשינון יתר מהיר. הנתונים קיימים באנגלית בלבד ואין בהם מילה אחת בעברית. בנוסף, הכרטיס לא מפרט אילו מודלים ייצרו את המידע דרך distilabel או מהם נושאי השאלות, כך שחובה לפתוח את הקובץ ולבדוק את איכות ההסקה בעין לפני שמכניסים אותו לתהליך עבודה.

שאלות
נפוצות

האם מותר להשתמש בזה לפרויקט מסחרי?

כן, הרישיון הוא mit שמאפשר שימוש מסחרי חופשי. אין הגבלה על מכירת המודל שתאמנו או שילובו במוצר סגור.

האם יש במאגר תמיכה בעברית?

לא. המאגר מוגדר ומכיל טקסט באנגלית בלבד. אם המטרה היא הסקה בעברית, תצטרכו לתרגם את הרשומות או לחפש מקור אחר.

איך הנתונים האלה נוצרו?

היוצרים מציינים שהשתמשו בכלי distilabel כדי לבנות את הדוגמאות. אין בכרטיס פירוט מלא על פרומפטים או מודלי מקור, ולכן סביר להניח שמדובר בהפקה סינתטית.

כמה זמן לוקח להוריד ולהריץ את זה?

מדובר בקובץ פרקט בודד עם מעט יותר מאלף רשומות. ההורדה מסתיימת תוך שניות וטעינת הנתונים לזיכרון כמעט מיידית.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets הרגילה של פייתון בפקודה פשוטה, ללא צורך באישור גישה או מפתח מיוחד כי המאגר פתוח לגמרי. הקובץ מגיע בפורמט פרקט יחיד ששוקל מעט מאוד, כך שההורדה לוקחת שניות בודדות. בגלל הגודל הזעיר, היוצרים ממליצים להגדיר באימון ארבעה עד שישה מחזורים במקום אחד עד שלושה כדי שהמודל יספיק ללמוד את דפוסי ההסקה.

from datasets import load_dataset

ds = load_dataset("fluently-sets/reasoning-1-1k")

הרישיון

המאגר מופץ תחת רישיון mit. מותר להשתמש בו לצרכים מסחריים ומחקריים, לשנות אותו, לחבר אותו עם דאטהסטים אחרים ולהפיץ תוצרים, כל עוד שומרים על תנאי הרישיון המקוריים והייחוס. מודל שתאמנו על הנתונים האלה לא מחויב להיפתח לציבור.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא ב־Hugging Face ↗