json-training
קוד פתוחChristianAzinnapache-2.02024-08-21
המאגר כולל דוגמאות סינתטיות לאימון מודלים שמתקשים לפלוט מבנה תקין. מי שמנסה ללמד מודל קטן לייצר פלט במבנה מוגדר ימצא כאן שלשות של בקשה, סכמה ותשובה מתאימה.
- 242הורדות בחודש
- 25לייקים
מה זה
המאגר נוצר במטרה לפתור בעיה ספציפית מאוד, שבה מודלים זעירים כמו אלה ממשפחות Qwen2 או SmolLM נכשלים לחלוטין בניסיון לייצר פלט במבנה JSON תקין. מודלים כאלה נוטים להיתקע בלולאות אינסופיות גם כשמפעילים עליהם כלים שאמורים לאלץ פלט מובנה, פשוט כי אין להם מושג מה דורשים מהם.
התוכן כולו נוצר באופן סינתטי על ידי מודלים גדולים יותר. הרוב המכריע הופק באמצעות Llama 3.1 8B, לצד בערך 2000 דוגמאות שהופקו על ידי Claude 3.5 Sonnet. המפרסם לא מפרט תהליכי סינון, ניקוי או בדיקות תקינות שנערכו על הפלט הסינתטי לפני שהוא הועלה למאגר.
כל רשומה בנויה משלושה שדות פשוטים. השדה query מכיל בקשת משתמש בטקסט חופשי ללא רכיבים מובנים, השדה schema מגדיר את סכמת ה־JSON המבוקשת לפלט, והשדה response מציג תשובה לדוגמה שעונה על הבקשה ומתאימה לסכמה. המבנה מאפשר להזריק את הסכמה להוראת המערכת או ישירות לפרומפט, לפי הצורך שלכם באימון.
מתאים ל
- אימון מודלים זעירים
לימוד מודלים קטנים להפיק פלט מובנה בלי להיתקע בלולאות אינסופיות.
- עמידה בסכמות
אימון מודל להתאים את התשובה למבנה סכמה שמוגדר בפרומפט.
- הערכת ביצועי מבנה
בדיקת יכולת של מודלים קיימים לחלץ מידע מטקסט חופשי לתוך JSON.
איפה זה נופל
הנתונים כולם באנגלית בלבד ונוצרו באופן סינתטי על ידי מודלים אחרים, כך שהם נושאים איתם את ההטיות, השגיאות וההזיות האופייניות ל־Llama 3.1 ול־Claude 3.5. הדף לא מפרט בדיקות איכות, סינון ידני או אימות שכל ה־JSON בדוגמאות אכן תקין לפי הסכמה. אם אתם בונים על זה לפיתוח בעברית, אין כאן שום מענה. לפני שדוחפים את זה לתהליך אימון, תצטרכו להריץ בעצמכם ולידציה על מבנה התשובות ולוודא שהן עומדות בסכמות.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה למוצר מסחרי?
כן, הרישיון המדווח הוא apache-2.0 ומאפשר שימוש מסחרי ואימון מודלים ללא תשלום. עליכם לכלול את הצהרת זכויות היוצרים המקורית והרישיון בהפצה של הדאטה. עם זאת, קחו בחשבון שהנתונים הופקו על ידי מודלים מסחריים כמו Claude 3.5 Sonnet, שכפופים לתנאי שימוש משלהם.
האם יש בדאטהסט תמיכה בעברית?
לא, הנתונים מתועדים באנגלית בלבד. כל הבקשות, הסכמות והתשובות מנוסחות באנגלית. אם המטרה היא חילוץ נתונים בעברית, תצטרכו לתרגם את המאגר או לייצר דוגמאות מקבילות.
מאיפה הנתונים הגיעו ואיך הם נאספו?
הנתונים לא נלקחו משיחות אמיתיות אלא נוצרו באופן סינתטי לחלוטין. רוב הדוגמאות הופקו באמצעות Llama 3.1 8B, ובערך 2000 דוגמאות נוספות נוצרו על ידי Claude 3.5 Sonnet. היוצר העלה אותם למאגר במטרה לספק מענה למחסור בדאטה לאימון מודלים קטנים.
באיזה פורמט המידע שמור ואיך טוענים אותו?
הדאטהסט מורכב מארבעה קבצים במאגר, ביניהם קובצי JSON כמו json-training.json ו־json-training-2.json. כל רשומה כוללת את השדות query, schema ו־response. אפשר למשוך אותם עם ספריית datasets של HuggingFace או לקרוא ישירות כקובצי JSON רגילים.
איך טוענים
המאגר ציבורי ופתוח להורדה ישירה ללא צורך באישור גישה. הוא מחולק לקובצי JSON כמו json-training.json ו־json-training-2.json, לצד קובץ התיעוד, כך שאפשר לקרוא אותם ישירות באמצעות ספריית datasets או לטעון אותם כקובצי טקסט רגילים בפייתון. השדות המרכזיים שמעניינים אתכם בזמן עיבוד הנתונים הם query, schema ו־response. תצטרכו לפרסר ולסדר אותם מראש בתבנית הפרומפט המתאימה לארכיטקטורת המודל שאתם מאמנים.
from datasets import load_dataset
ds = load_dataset("ChristianAzinn/json-training")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה של הנתונים ושל מודלים שאומנו עליהם, בלי דרישה לשתף את התוצרים באותו רישיון. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים הרלוונטיים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים