deita-10k-v0
קוד פתוחhkust-nlpmit2023-10-23
עשרת אלפים דוגמאות אימון שיחה שנבחרו אוטומטית מתוך מאגרים גדולים. הוא מיועד למי שרוצה לאמן מודלי שפה בלי לשרוף שבועות על דאטה ענקי.
- 380הורדות בחודש
- 30לייקים
מה זה
המאגר כולל עשרת אלפים רשומות לשיחות והוראות, שמיועדות לשלב הכוונון העדין במודלי שפה. הנתונים לא נכתבו מאפס בידי בני אדם, אלא נשלפו בצורה אוטומטית מתוך שלושה מאגרים מוכרים אחרים: כחמישים ושמונה אלף שיחות ממאגר ShareGPT, כמאה וחמישה אלף רשומות מתוך UltraChat, ועוד מאגר מעורב של כמאה ארבעים ושלושה אלף רשומות מתוך WizardLM המבוסס על אבולוציית הוראות של Alpaca ושיחות נוספות.
המטרה של הפרויקט הייתה להדגים ברירה אוטומטית של דאטה איכותי וממוקד, במקום שימוש במאות אלפי רשומות ללא אבחנה. בתוך הקובץ תמצאו דוגמאות שיחה שנועדו להביא מודלים פתוחים לביצועים תחרותיים במבחני יישור, מבלי להשקיע משאבי חישוב כבדים על מיליוני טוקנים עודפים. התוכן כולו מאורגן סביב חילופי דברים של משתמש ועוזר, במבנה קומפקטי שמכוון ליישר את התנהגות המודל למענה להוראות מורכבות.
מתאים ל
- אימון מודל שיחה קל
כוונון עדין למודלי בסיס עם עשרת אלפים דוגמאות איכותיות כדי לקבל עוזר שיחה יעיל.
- סינון דאטה
בדיקת אלגוריתמים של ברירת דוגמאות אימון והשוואת ביצועים מול דאטהסטים גדולים בהרבה.
- בנצ'מרק חסכוני
הרצת בדיקות יישור מהירות למודלים קטנים יחסית כמו 7B בלי להשקיע ימי חישוב יקרים.
איפה זה נופל
הנתונים מוגבלים לשפה האנגלית בלבד, ואין כאן עברית כלל. בנוסף, כל המידע נבחר ממאגרים שנוצרו או נאספו בשנת 2023, וחלקם הגדול מבוסס על פלטים של מודלים סגורים כמו שושלת GPT. אם אתם בונים שירות מוצר שצריך לעמוד בתנאי שימוש נוקשים או לשרת קהל מקומי, כדאי לזכור שהמקורות של ShareGPT ודומיו כוללים שאריות מפוקפקות מבחינת תנאי השימוש של יוצרי המודלים המסחריים.
אותה משפחה
deita יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם הדאטהסט מתאים לעבודה בעברית?
לא. המאגר מוגדר וכולל תוכן באנגלית בלבד. אם תאמנו עליו מודל כדי לדבר בעברית, תצטרכו להביא דאטה נפרד או לתרגם אותו מראש.
מאיפה הנתונים הגיעו בפועל?
החוקרים לקחו נתונים מתוך מאגרי ShareGPT, UltraChat ו־WizardLM. הם הפעילו עליהם מנגנון בחירה אוטומטי כדי לחלץ עשרת אלפים רשומות מובחרות מתוך מאות אלפים.
האם מותר להשתמש בזה למודל מסחרי?
הרישיון המוצהר הוא MIT, שמתיר שימוש מסחרי חופשי. הבעיה טמונה במקורות כמו ShareGPT, שחלקם מבוססים על פלטים של מודלים קנייניים, ולכן חברות מסוימות נמנעות מכך.
כמה זמן לוקח להוריד ולהריץ את זה?
מדובר בעשרת אלפים דוגמאות בלבד בקובץ JSON יחיד. ההורדה והטעינה לוקחות שניות בודדות בכל סביבת פיתוח סטנדרטית.
איך טוענים
טוענים את המידע ישירות מספריית הדאטהסטס מבית Hugging Face באמצעות המזהה hkust-nlp/deita-10k-v0, או מורידים ישירות את הקובץ deita_10k.json. המאגר פתוח לכולם ולא דורש אישור גישה מראש. מדובר בקובץ יחיד שמכיל את כל עשרת אלפים הרשומות, כך שהוא קל משקל ואינו מעמיס על הזיכרון בעת הטעינה.
from datasets import load_dataset
ds = load_dataset("hkust-nlp/deita-10k-v0")הרישיון
הפרויקט מפורסם ברישיון MIT, מה שמתיר שימוש מסחרי, שינוי והפצה כמעט ללא הגבלה, למעט מתן קרדיט והשארת תנאי הרישיון. עם זאת, הדאטהסט מורכב מתכנים של ShareGPT ושיחות סינתטיות, מה שעלול לייצר התנגשות מול תנאי השירות של החברות שמתוכן הופק הטקסט המקורי בעת אימון מודל מסחרי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש