Reflective-MAGLLAMA-v0.1
קוד פתוחthesvenapache-2.02024-09-10
המאגר מרכז עשרות אלפי שיחות סינתטיות עם תגיות מחשבה ורפלקציה. הוא מתאים למי שרוצה ללמד מודל שפה לנמק שלב אחרי שלב לפני מתן התשובה.
- 63הורדות בחודש
- 48לייקים
מה זה
המאגר מציג דוגמאות אימון שנוצרו על ידי שילוב של פרומפטים משיטת MAGPIE יחד עם תשובות ממודל LLaMa 3.1 70B. כל רשומה כוללת הוראה, פלט מעוצב עם תגיות של חשיבה, רפלקציות ופלט סופי, וקטור שיכון שהופק באמצעות all-MiniLM-L6-v2, ומדדי שכנים קרובים. התהליך כולו נבנה ותויג באמצעות ספריית Distilabel של חברת Argilla.
המבנה הפנימי נועד להכריח מודלים לפרק בעיות לחלקים. הטקסטים ברשומות מציגים הטלת ספק בהנחות יסוד, חישוב חלופות שונות, ושקילת סיכונים לפני הגעה למסקנה. המפרסם סיפק את קובצי הריצה המלאים כגון pipeline.yaml וסקריפט פייתון נקי, כך שניתן לראות בדיוק כיצד המידע סונן ונבנה.
מתאים ל
- אימון מודל לחשיבה מונחית
כוונון עדין של מודלי שפה להפקת תגיות מחשבה ובדיקה עצמית לפני שליפת התשובה.
- הערכת יכולות ניתוח
בדיקת היכולת של מודלים קיימים לזהות הנחות שגויות ולפתור בעיות מורכבות.
- סינון וטיוב נתונים סינתטיים
שימוש בווקטורי השיכון הקיימים ובציוני השכנים כדי לסנן דוגמאות דומות מדי.
איפה זה נופל
יוצר המאגר מבהיר בראש העמוד שמומלץ להשתמש בגרסה v0.1.1 במקום בגרסה זו, כך שקיימת סבירות גבוהה לבעיות בנתונים הנוכחיים שתוקנו בעדכון. כל הטקסטים הם באנגלית בלבד, ואין כאן ייצוג לעברית. בנוסף, מדובר בדאטה סינתטי לחלוטין שמבוסס על פלטים של LLaMa 3.1 70B, ולכן הוא סוחב איתו הטיות, חזרתיות והזיות אפשריות של המודל המקורי ללא בדיקה אנושית ידנית.
שאלות
נפוצות
האם המאגר כולל עברית?
המאגר מוגדר כ־en ומכיל נתונים באנגלית בלבד. אם המטרה היא אימון בעברית, תצטרכו לתרגם את הנתונים או להריץ את הצינור מחדש על הנחיות מקומיות.
האם מותר להשתמש בדאטהסט לאימון מודל מסחרי?
רישיון המאגר הוא apache-2.0 שמאפשר שימוש מסחרי, אך יש לזכור שהנתונים הופקו על ידי LLaMa 3.1 70B. מומלץ לוודא שהפרויקט שלכם תואם גם לתנאי הקהילה של מטא למודל המקור.
האם כדאי להשתמש בגרסה הזו?
לא מומלץ להתחיל פרויקט חדש על הגרסה הזו. בעל המאגר הוסיף הערה בולטת בראש הכרטיס שמבקשת מהמשתמשים לעבור לגרסה v0.1.1.
כיצד הנתונים נוצרו בפועל?
ההנחיות הופקו בשיטת MAGPIE והתשובות נדגמו מ־LLaMa 3.1 70B תוך שימוש בתבניות רפלקציה. התהליך כולו נוהל ועובד באמצעות ספריית Distilabel.
איך טוענים
טוענים את המאגר ישירות דרך ספריית datasets באמצעות קובץ ה־Parquet היחיד שנמצא בתיקיית הדאטה. אין צורך בבקשת אישור גישה מיוחדת או בהמתנה. השדות המרכזיים לעבודה הם instruction לפרומפט, generation לתשובה המלאה שכוללת את תגיות החשיבה, ו־text שמספק את השיחה בפורמט צ'אט תקני. שימו לב שהרשומות כוללות גם וקטורי שיכון מוכנים מראש באורך מלא, מה שמנפח את המשקל של כל שורה בזמן הטעינה לזיכרון.
from datasets import load_dataset
ds = load_dataset("thesven/Reflective-MAGLLAMA-v0.1")הרישיון
המאגר מופץ תחת רישיון apache-2.0, שמתיר שימוש מסחרי, שינוי והפצה ללא דרישה להחזיר את הקוד הפתוח באותו רישיון. אתם מחויבים רק לשמור על הודעת זכויות היוצרים והרישיון המקורי. עם זאת, מכיוון שהנתונים הופקו על ידי מודל LLaMa 3.1, עליכם לוודא שהשימוש שלכם עומד גם בתנאי השימוש והמדיניות של חברת מטא עבור מודלים אלו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים