dataforge-economics

מה זה

המאגר מכיל 1,000 רשומות טקסטואליות בלבד, שנוצרו כולן על ידי GPT-4 של OpenAI דרך צינור יצירת נתונים ייעודי בשם DataForge. המטרה של התהליך הייתה לייצר ידע ממוקד תחום בעולם הכלכלה ולהבטיח רלוונטיות ישירה לנושאים מקצועיים.

כל רשומה בנויה בפורמט ShareGPT עם שיחה של תור יחיד בין אדם למודל. המבנה כולל מזהה ייחודי, שדה שיחות, שדה מקור שנועד להקל על מיזוג עם מאגרים אחרים, שדה נושא שמציין את תת התחום הכלכלי, ושדה שמגדיר את סוג הנחיית המערכת ששימשה ליצירת התשובה. אין חלוקה מובנית לסט אימון ובדיקה.

היוצר בנה את המאגר כהוכחת היתכנות לשיפור מודלים כמו Orca. לפי התיעוד שלו, כיוונון עדין של המודל Stable Beluga על הנתונים האלה עבר את מבחן הביצועים המותאם אישית שהוא הגדיר לכלכלה.

מתאים ל

• כיוונון עדין לכלכלה

  אימון מודל שפה קיים בשיחות קצרות כדי לשפר הבנה של מושגים כלכליים.

• מיזוג עם מאגרי הדרכה

  שילוב אלף הדוגמאות לתוך מערך נתונים רחב יותר הודות לשדה המקור המובנה.

• בדיקת יכולות ידע ממוקד

  הערכת תגובות מודל בנושאי כלכלה מול התשובות הסינתטיות של GPT-4.

איפה זה נופל

כל הנתונים סינתטיים לחלוטין ומבוססים על GPT-4. הכרטיס מזהיר במפורש שחלק מהמידע עשוי להיות שגוי או לא תקף, כך שאין כאן אימות עובדתי של מומחה אנושי. בנוסף, המאגר קטן מאוד, מכיל רק אלף דוגמאות בתור יחיד, וכולו באנגלית. אין פה נתונים על שווקים מקומיים או תמיכה בעברית, וצריך לבדוק היטב הזיות לפני שמכניסים אותו לתהליך עבודה רגיש.

איך טוענים

המאגר פתוח לגישה ישירה ואינו דורש אישור מיוחד. הנתונים שמורים בקובץ JSON יחיד בשם dataforge-economics_domain_expert_dataset_sharegpt.json, כך שאפשר לטעון אותו בקלות באמצעות ספריית datasets של Hugging Face או ישירות עם ספריית json של פייתון. השדות החשובים לעבודה הם conversations, שמחזיק את חילופי הדברים, ו־system_prompt שמספק את ההקשר להוראה המקורית.

from datasets import load_dataset

ds = load_dataset("teknium/dataforge-economics")

הרישיון

הרישיון המדווח הוא MIT. הוא מתיר שימוש מסחרי, שינוי, הפצה ושילוב בקוד סגור, בלי דרישה לשתף את המודל המאומן תחת אותו רישיון, ומחייב רק שמירת הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗