llama-instruct
קוד פתוחtogethercomputerllama22023-08-03
המאגר כולל 19 אלף שיחות מרובות תורות שנועדו לאימון הוראות. הנתונים מבוססים על שאלות משתמשים מ־ShareGPT עם תשובות שנוצרו באמצעות המודל Llama 2 70B Chat.
- 117הורדות בחודש
- 28לייקים
מה זה
הנתונים נבנו בשיטת זיקוק שדומה לפרויקטים כמו Alpaca ו־Vicuna, במטרה לאמן את המודל Llama 2 7B 32K Instruct. היוצרים לקחו 19 אלף הנחיות אנושיות מתוך המאגר ShareGPT 90K, תוך שימוש בשאלות של בני האדם בלבד וללא התשובות המקוריות של ChatGPT.
במקום הפלטים המקוריים, הם הזינו את ההנחיות למודל Llama 2 70B Chat של Meta כדי לקבל את התשובות. הקובץ המרכזי שמכיל את התוצרים הוא llama-instruct-19K.jsonl, שבו כל שורה מייצגת שיחה מרובת שלבים בפורמט טקסט רגיל עם תגיות ההוראה הרשמיות של Llama 2.
מתאים ל
- אימון הוראות באנגלית
כוונון עדין של מודלי שפה לעבודה מול משתמש בשיחות מרובות שלבים.
- זיקוק מודלים קטנים
העברת יכולות השיחה של Llama 2 70B למודלים פתוחים בעלי ממדים קטנים יותר.
- אימון על הקשר ארוך
בניית גרסאות מותאמות של Llama 2 עם חלון הקשר מורחב על בסיס נתוני שיחה.
איפה זה נופל
הנתונים מוגבלים לחלוטין לשפה האנגלית, כך שהמאגר לא רלוונטי לאימון ישיר בעברית. בנוסף, כל התשובות הן תוצר של מודל יחיד, Llama 2 70B Chat, שפורסם באוגוסט 2023. הדבר אומר שההטיות, הטעויות העובדתיות ומגבלות הידע של אותו מודל נכנסו ישירות לתוך קובץ האימון. הכרטיס גם לא מפרט סינון ידני או בדיקות איכות שנעשו על הפלטים, מעבר לשימוש בסקריפט הזיקוק.
שאלות
נפוצות
האם הדאטהסט כולל עברית?
לא. לפי התיעוד הרשמי של היוצרים, כל הנתונים במאגר מנוסחים באנגלית בלבד. מי שמחפש חומרים לאימון מודלים בעברית יצטרך לתרגם את הטקסט או לפנות למקורות אחרים.
האם מותר להשתמש במאגר לפיתוח מסחרי?
המאגר מוגדר תחת רישיון llama2 של Meta, שמתיר שימוש מסחרי כל עוד עומדים בתנאי המדיניות שלו. בין היתר, יש הגבלה על מוצרים עם מעל 700 מיליון משתמשים פעילים בחודש שדורשת אישור נפרד מ־Meta.
במה הוא שונה ממאגרי ShareGPT רגילים?
המאגר הזה לקח מ־ShareGPT רק את השאלות וההנחיות של המשתמשים, ולא את התשובות של ChatGPT. כל התשובות בשיחות נוצרו מחדש באמצעות Llama 2 70B Chat, כך שאין כאן שימוש בתוצרי OpenAI.
באיזה מבנה מגיעות הרשומות?
הרשומות מגיעות בקובץ JSONL שבו כל שורה היא אובייקט עם שדה טקסט יחיד. השיחה כולה מופיעה בתוך המחרוזת הזו כשהיא כבר עטופה בתגיות INST של מודלי Llama 2.
איך טוענים
הנתונים שמורים בקובץ llama-instruct-19K.jsonl ואין צורך בתהליך אישור מיוחד כדי להוריד אותו מהמאגר. כל רשומה כוללת שדה יחיד בשם text, שבו השיחה כולה כבר מעוצבת עם תגיות INST המוכרות של Llama 2. אם תוכנית האימון שלכם מצפה לשדות מופרדים כמו prompt ו־response או לחלוקה מסודרת לתפקידי מערכת ומשתמש, תצטרכו לפרק את המחרוזת הזו בעצמכם לפני שמתחילים.
from datasets import load_dataset
ds = load_dataset("togethercomputer/llama-instruct")הרישיון
המאגר מופץ תחת רישיון llama2 של חברת Meta. הרישיון מאפשר שימוש מסחרי ומחקרי, אך כפוף למדיניות השימוש ההוגן וההגבלות המקוריות של Llama 2, כולל תנאים מיוחדים במקרה של שירותים עם מספר משתמשים חודשי גבוה מאוד. מודל שתאמנו על הנתונים הללו יהיה מחויב לעמוד בכל תנאי הרישיון הזה.
- שימוש מסחרי עד 700 מיליון משתמשים
- שינוי הקוד
- חובת ייחוס