FuseChat-Mixture
קוד פתוחFuseAIapache-2.02024-02-26
אוסף של 95 אלף דוגמאות אימון שמשלב שיחות אנושיות, סינתזה של מודלים ומשימות קוד ומתמטיקה. הוא מרכז מקורות מוכרים שנחתכו לבלוקים של עד 2048 תווים כדי לייצב כוונון של מודלי שיחה.
- 51הורדות בחודש
- 29לייקים
מה זה
המאגר מאחד תשעה מקורות מידע שונים במטרה לכסות סגנונות שיחה ויכולות טכניות. הוא כולל 20 אלף דגימות מתוך Orca-Best, את כל 16 אלף השיחות הרב שלביות מתוך Capybara, עוד 9,500 שיחות שנכתבו בידי אדם מתוך No-Robots, לצד 6,200 שיחות מבוססות GPT-4 מתוך ShareGPT-GPT4 ו־5,000 דוגמאות שנבחרו מתוך Oasst-Top1.
בצד המשימות הממוקדות נדגמו 10 אלף דוגמאות מתמטיקה מתוך MetaMathQA, ועוד 30 אלף דוגמאות קוד בחלוקה שווה בין OSS-Instruct, Evol-Alpaca ומאגר Python-Code. תהליך העיבוד עקב אחרי מתודולוגיית הניקוי של Vicuna, סינן תווים מיוחדים וטקסט שאינו באנגלית, וחתך שיחות ארוכות למקטעים באורך מרבי של 2048 טוקנים כדי להגיע לסך הסופי.
מתאים ל
- אימון הוראות כללי
כוונון מודלי בסיס לשיחה וביצוע משימות כלליות על בסיס שיחות איכותיות שנכתבו בידי אדם ומודלים.
- חיזוק יכולות תכנות
אימון יכולות כתיבת קוד ופתרון בעיות בפייתון באמצעות 30 אלף דוגמאות ייעודיות שמוזגו במאגר.
- פתרון בעיות מתמטיות
שיפור ההסקה הלוגית והמתמטית של מודלי שפה בעזרת מדגם מעובד מתוך MetaMathQA.
איפה זה נופל
המאגר מוגבל לאנגלית בלבד, וכל תוכן בשפה אחרת סונן החוצה בתהליך הניקוי, כך שהוא לא יעזור למי שמכוון לעברית. בנוסף, חלק עצום מהדאטה נוצר על ידי מודלים מסחריים כמו GPT-3.5 ו־GPT-4, מה שמביא איתו את ההטיות, הסגנון החזרתי וההזיות המוכרות של המודלים האלה. חיתוך השיחות באורך 2048 טוקנים עלול לקטוע הקשרים עמוקים באמצע דיאלוג.
שאלות
נפוצות
האם המאגר כולל עברית?
לא. המאגר מוגדר ומסונן לאנגלית בלבד. תהליך הניקוי של Vicuna שהופעל על הנתונים הסיר במפורש כל תוכן שאינו באנגלית, כך שאין בו תמיכה בשפות אחרות.
האם מותר להשתמש בו לאימון מודל מסחרי?
הרישיון המוצהר הוא Apache 2.0 שמתיר שימוש מסחרי מלא. עם זאת, חלקים גדולים ממנו נלקחו מפלט של GPT-4 ו־GPT-3.5, מה שמתנגש עם תנאי השימוש של OpenAI לגבי אימון מודלים מסחריים מתחרים.
באיזה אורך הקשר השיחות מגיעות?
כל השיחות בדאטהסט נחתכו למגבלה מקסימלית של 2048 טוקנים. אם יש שיחות רב שלביות ארוכות במקור, הן חולקו לבלוקים נפרדים כדי להתאים לחלון הקשר סטנדרטי.
מאיפה הגיעו הנתונים?
המאגר הוא מיזוג של תשעה מקורות פתוחים קיימים. הוא משלב נתונים סינתטיים מבוססי מודלים יחד עם דאטהסטים שנאספו ממתנדבים וממתייגים אנושיים כמו No-Robots ו־OpenAssistant.
איך טוענים
אתם מושכים את הנתונים ישירות מתוך Hugging Face בלי צורך בהרשאה מיוחדת או באישור גישה. הקובץ המרכזי במאגר יושב בפורמט JSON תחת השם fusechat_v1_clean_split_2048_filter_wrong.json, וכולל את כל 95 אלף הדוגמאות המעובדות.
לפני הטעינה כדאי לשים לב שהדוגמאות כבר חתוכות למגבלת קונטקסט של 2048 טוקנים ועברו סינון של שגיאות ותווים חריגים. אין פה חלוקה מובנית לסט בדיקה נפרד, כך שאם אתם מתכננים לעשות ולידציה תצטרכו להפריד מדגם בעצמכם מתוך הקובץ היחיד.
from datasets import load_dataset
ds = load_dataset("FuseAI/FuseChat-Mixture")הרישיון
הרישיון הרשמי של המאגר הוא Apache 2.0, שמאפשר שימוש חופשי וגם מסחרי תוך מתן קרדיט מתאים. הבעיה המעשית נובעת מכך שחלק גדול מהטקסטים נוצרו ישירות מול המודלים של OpenAI, תנאי השימוש שלהם אוסרים לאמן מודלים מתחרים, ולכן שימוש מסחרי בתוצר הסופי עלול להכניס אתכם לסיכון משפטי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים