Llama-Nemotron-Post-Training-Dataset-v1-ShareGPT
קוד פתוחMaziyarPanahicc-by-4.02025-03-19
המאגר כולל כמעט 16 מיליארד טוקנים לאימון מודלים של שיחה, קוד ומתמטיקה. הוא לוקח את הדאטהסט המקורי של אנבידיה ומגיש אותו מומר ישירות למבנה ShareGPT.
- 360הורדות בחודש
- 41לייקים
מה זה
המאגר מבוסס כולו על דאטהסט האימון Llama-Nemotron של אנבידיה, בלי שינוי של התוכן עצמו אלא רק המרה טכנית. הוא מחולק לחמישה חלקים מקוריים: מתמטיקה עם כ־13.1 מיליון שורות, קוד עם כ־1.56 מיליון שורות, מדע עם כ־484 אלף שורות, שיחה כללית עם 39.8 אלף שורות, ובטיחות עם 31.4 אלף שורות.
כל רשומה מכילה את העמודות המקוריות כמו קלט ופלט, יחד עם שדה הודעות חדש שמסודר לפי תפקידים של משתמש ועוזר. בתהליך ההמרה נוקו טוקנים מיוחדים של מודלים כמו סופי מקטעים, כדי שהפלט יהיה טקסט נקי שמתאים ישירות לתבניות שיחה מקובלות.
מתאים ל
- אימון הוראות לקוד
אימון שלבי כוונון עדין על יותר ממיליון וחצי דוגמאות קוד במבנה שיחה סטנדרטי.
- חיזוק יכולות מתמטיות
שיפור פתרון בעיות במודלים באמצעות יותר מ־13 מיליון שורות מתמטיקה.
- סינון בטיחות בשיחה
בדיקה ואימון תגובות בטוחות באמצעות תת-המאגר המיועד לבטיחות.
איפה זה נופל
הכרטיס לא מפרט על קיומה של עברית או שפות נוספות מעבר לאנגלית, וסביר להניח שרובו המוחלט באנגלית בלבד. בנוסף, חלוקת הנתונים מוטה מאוד: רוב הנפח מוקדש למתמטיקה וקוד, בעוד שחלק השיחה הכללי קטן מאוד וכולל פחות מ־40 אלף שורות. המפרסם ביצע המרה וניקוי טוקנים טכני בלבד, ולא מתוארת בדיקת איכות ידנית על התשובות שנוצרו.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. הרישיון המדווח הוא cc-by-4.0, שמאפשר שימוש מסחרי מלא והתאמה של הנתונים. הדרישה העיקרית היא לתת קרדיט ברור למפרסמים ולדאטהסט המקורי.
מה ההבדל בין המאגר הזה למאגר המקורי של אנבידיה?
התוכן והחלוקה לחלקים זהים לחלוטין. ההבדל הוא שהמאגר הזה ממיר את הנתונים למבנה ShareGPT, מוסיף עמודת הודעות מסודרת ומנקה טוקנים מיוחדים של המודל המקורי.
האם יש במאגר נתונים בעברית?
בתיעוד המאגר אין שום אזכור לתמיכה בעברית או באיסוף רב-לשוני. המקור של אנבידיה מתמקד באנגלית, ולכן לא מומלץ להסתמך עליו לאימון יכולות שפה מקומיות.
איזה תוכן תופס את רוב המאגר?
המאגר נוטה באופן מובהק לפתרון בעיות טכניות. יש בו כ־13.1 מיליון רשומות של מתמטיקה ועוד כ־1.56 מיליון רשומות של קוד, לעומת עשרות אלפים בודדות של שיחה כללית.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית הדאטהסטים באמצעות המזהה של המאגר. המידע מחולק ל־271 קובצי Parquet שונים לפי החלקים, למשל קובצי קוד ושיחה, כך שאפשר ורצוי למשוך רק את החלק הרלוונטי למשימה שלכם במקום להוריד את כל המאגר. אין צורך לבקש אישור גישה מיוחד כדי להתחיל לעבוד. השדה המרכזי שתרצו לעבוד איתו הוא מערך ההודעות שמכיל את התפקיד והתוכן, לצד שדות הקלט והפלט הנקיים. קחו בחשבון שמדובר בהיקף גדול של קרוב ל־16 מיליארד טוקנים בסך הכל.
from datasets import load_dataset
ds = load_dataset("MaziyarPanahi/Llama-Nemotron-Post-Training-Dataset-v1-ShareGPT")הרישיון
המאגר מפורסם ברישיון cc-by-4.0 שמקורו בדאטהסט המקורי של אנבידיה. הרישיון מתיר שימוש מסחרי, שינוי והפצה של הנתונים, כולל אימון מודלים לצרכים פנימיים או מסחריים. התנאי המרכזי והמחייב הוא מתן ייחוס מתאים ליוצרים המקוריים של המאגר.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס