QwQ-LongCoT-Verified-130K
קוד פתוחqingy2024רישיון לא דווח2024-12-17
המאגר מרכז שרשראות חשיבה ארוכות שנוצרו באמצעות QwQ 32B Preview ועברו סינון אוטומטי. מי שמחפש ללמד מודל לנמק צעד אחר צעד במתמטיקה ימצא כאן נקודת פתיחה ממוקדת.
- 198הורדות בחודש
- 31לייקים
מה זה
הנתונים מבוססים על דאטהסט מקור בשם amphora/QwQ-LongCoT-130K ומכילים פלטים שנוצרו על ידי המודל QwQ 32B Preview. חלק ניכר מהדוגמאות מגיע מהמאגר NuminaMathCoT ומתמקד בפתרון בעיות מתמטיות, לצד חלק שנוצר בשיטת Magpie.
היוצר חילק את התוכן לכמה תתי קבוצות. תת הקבוצה המלאה כוללת 133 אלף שורות, מתוכן 90.1 אלף בעיות מתמטיות של נומינה ו־43 אלף רשומות מגפאי. תת הקבוצה המסוננת מחזיקה 64.6 אלף שורות בלבד, שבהן הפתרון של המודל אומת מול הפתרון המקורי.
הבדיקה נעשתה בעזרת מודל קטן, Qwen 2.5 3B Instruct, שבדק האם הפלט תואם בדיוק למקור. ברשומות שמקורן ב־Magpie עמודת הפתרון ריקה ולכן הן סומנו מראש ככאלה שלא אומתו.
מתאים ל
- אימון מודלי חשיבה
לימוד מודלים קטנים להפיק שרשראות חשיבה מפורטות לבעיות מורכבות.
- חידוד יכולות מתמטיות
שימוש בתת הקבוצה המאומתת לאימון על פתרון משוואות וחישובים.
- מחקר על איכות סינתטית
השוואה בין פלטים של מודלי היסק לפתרונות מקוריים.
איפה זה נופל
תהליך הסינון מסתמך על מודל של 3 מיליארד פרמטרים שבדק התאמה מדויקת בלבד. היוצר מציין שכחמישה עד שבעה אחוזים מהדוגמאות תויגו בטעות כלא מאומתות רק כי הניסוח לא היה זהה לחלוטין למקור. בנוסף, כל 43 אלף הרשומות מחלק ה־Magpie נותרו ללא פתרון מאומת. אין כאן נתונים בעברית, והחומר מוגבל לשפות ולסגנון שבהם אומנו המודלים המקוריים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ בכלל. המאגר פורסם בלי שצוין בו רישיון, מה שאומר שאין לכם שום הרשאה חוקית להשתמש בו לצרכים מסחריים.
האם יש בדאטהסט טקסטים בעברית?
לא. התוכן מורכב מבעיות מתמטיקה ומשימות שנוצרו באנגלית, ואין בו שום התאמה או תמיכה ייעודית בשפה העברית.
מה ההבדל בין הפיצול המלא לפיצול המאומת?
הפיצול המלא מכיל 133 אלף רשומות שכוללות גם נתוני Magpie לא מאומתים. הפיצול המאומת מכיל רק 64.6 אלף שורות שבהן התוצאה נבדקה ונמצאה זהה לפתרון המקורי מנומינה.
איך סוננו התשובות השגויות של המודל?
הסינון בוצע בצורה אוטומטית באמצעות המודל Qwen 2.5 3B Instruct. המודל בדק התאמה מדויקת מול הפתרון המקורי, מה שגרם לפסילה של חלק מהתשובות הנכונות רק בגלל ניסוח שונה.
איך טוענים
הקבצים שמורים בפורמט Parquet בחלוקה לכמה תיקיות ופיצולים, כך שניתן לטעון ישירות את תת הקבוצה הרצויה בספריית datasets בלי צורך באישור גישה מיוחד. המאגר כולל 12 קבצים, כולל גרסאות נפרדות עבור נומינה, שרפוט ומגפאי. בעבודה מעשית כדאי לבדוק את עמודת הפתרון ואת סטטוס האימות, במיוחד אם מתכוונים לסנן רעשים לפני שלב האימון.
from datasets import load_dataset
ds = load_dataset("qingy2024/QwQ-LongCoT-Verified-130K")הרישיון
בעמוד המאגר לא דווח רישיון כלל. במצב כזה אין אישור מפורש לשימוש מסחרי, להפצה מחדש או לאימון מודלים שיוטמעו במוצר פתוח או סגור. כל שימוש בתוכן מעמיד אתכם בסיכון של הפרת זכויות יוצרים של יוצרי הדאטהסט המקורי או של מפיצי המודלים שמהם נוצר הטקסט.