Magpie-Qwen2.5-Pro-1M-v0.1
קוד פתוחMagpie-Alignרישיון לא דווח2024-10-19
מאגר שיחות שנוצר כולו באופן סינתטי מתוך מודל שפה חזק, בלי כותבים אנושיים. הוא נותן מיליון דוגמאות אימון עם שפע תגיות איכות ובטיחות שמקלות על סינון ממוקד.
- 1,621הורדות בחודש
- 19לייקים
מה זה
המאגר מכיל מיליון שיחות גולמיות שנוצרו באמצעות הרצת המודל Qwen2.5-72B-Instruct בשיטת Magpie. השיטה הזו מנצלת את מנגנון ההשלמה של המודל כדי לייצר גם את שאלת המשתמש וגם את התשובה, ישירות מתוך התבנית של המודל וללא צורך בהנחיות אנושיות מראש.
כל רשומה מגיעה עם מערך רחב של מטא-דאטה. הנתונים כוללים תיוג בטיחות שהופק על ידי Meta-Llama-Guard-2-8B, ציון ממודל תגמול, הערכות לאיכות השאלה מדרגת גרוע מאוד ועד מצוין, דרגת קושי בחמש רמות, ומרחק שכן קרוב שמאפשר לזהות כפילויות. הנתונים כאן לא עברו סינון מקדים, בניגוד לגרסת שלוש מאות האלף של הפרויקט, כך שכל מיליון הדוגמאות מופיעות במצבן הגולמי.
מתאים ל
- אימון הוראות SFT
אימון מודלי בסיס על מיליון שיחות הוראה סינתטיות במגוון קטגוריות.
- מחקר על דאטה סינתטי
ניתוח יעילות החילוץ העצמי של הנחיות ותשובות ממודלים פתוחים.
- בניית מסנני איכות
שימוש בציוני התגמול ודירוגי הקושי לבניית קורפוסים מותאמים אישית.
איפה זה נופל
זהו אוסף גולמי ולא מסונן של שיחות סינתטיות. איכות השאלות והתשובות אינה אחידה, ותמצאו שם דוגמאות בדירוג איכות נמוך. המידע משקף ישירות את ההטיות והמגבלות של Qwen2.5-72B-Instruct, כולל הזיות אפשריות. תגיות השפה קיימות אך התפלגות השפות אינה מפורטת, כך שלא ידוע כמה עברית יש בפנים אם בכלל. בנוסף, בדיקות הבטיחות נשענות בלבד על Llama-Guard-2-8B, ולא מחליפות בדיקת תוכן עצמאית.
שאלות
נפוצות
האם מותר להשתמש במאגר לצרכים מסחריים?
לא מומלץ להסתמך עליו מסחרית כרגע, כי לא דווח רישיון בדף המאגר. מעבר לכך, הנתונים סונתזו ממודל Qwen2.5-72B-Instruct, ולכן יש לבדוק גם את תנאי הרישיון של המודל עצמו לפני כל שימוש.
האם יש במאגר טקסטים בעברית?
הכרטיס מציין שיש תגית שפה לכל רשומה, אך אינו מפרט אילו שפות קיימות או את החלוקה ביניהן. סביר להניח שרוב הטקסט הוא באנגלית ובסינית, ואין התחייבות לנוכחות של עברית.
מה ההבדל בין מאגר זה לגרסת ה־300K של Magpie?
גרסה זו מכילה מיליון שיחות במצב גולמי ללא ניפוי ידני או אוטומטי. גרסת ה־300K היא תת-קבוצה שעברה סינון איכות מתוך המאגר המקורי על בסיס התגיות.
איך נוצרו הנתונים בפועל?
החוקרים הזינו את תבנית הפנייה של Qwen2.5-72B-Instruct עד לנקודת המשתמש, ונתנו למודל להשלים בעצמו את השאלה. לאחר מכן המודל ייצר גם את התשובה, והמערכת תייגה את התוצאות בעזרת מודלי עזר.
איך טוענים
טוענים את הנתונים דרך ספריית datasets באמצעות המזהה Magpie-Align/Magpie-Qwen2.5-Pro-1M-v0.1. הקבצים שמורים בפורמט Parquet ומחולקים לשישה עשר חלקים, בתוך תיקיית data. אין צורך באישור גישה או בהרשמה מיוחדת להורדה. לפני שמתחילים לאמן, כדאי להשתמש בשדות האיכות, מרחק השכנים, והבטיחות כדי לסנן החוצה דוגמאות פגומות או מסוכנות, כי מדובר במידע גולמי לחלוטין.
from datasets import load_dataset
ds = load_dataset("Magpie-Align/Magpie-Qwen2.5-Pro-1M-v0.1")הרישיון
בעמוד המאגר לא דווח רישיון כלל. כשאין רישיון מוגדר, מבחינה משפטית אין הרשאה ברורה לשימוש, העתקה או אימון מודלים, בטח שלא לצרכים מסחריים. בנוסף, הנתונים הופקו באמצעות Qwen2.5-72B-Instruct, ולכן חלים עליהם גם תנאי השימוש והמגבלות של המודל המקורי.