flanv2
קוד פתוחphilschmidapache-2.02023-02-22
המאגר מרכז הוראות אימון מעובדות מתוך Flan V2 ומחלק אותן מראש לפי סוגי משימות. הוא מתאים למי שרוצה לשלוט ביחסי הערבוב בלי להוריד את קובצי המקור הגולמיים של גוגל.
- 324הורדות בחודש
- 31לייקים
מה זה
מדובר בעיבוד מחדש של אוסף Flan V2 שמבוסס על המאגר SirNeural/flan_v2. הרשומות מגיעות ממספר מקורות עיקריים שגוגל איגדה: Flan 2021, המאגר P3, אוסף Super-Natural Instructions, דוגמאות חשיבה צעד אחר צעד (cot), ונתוני שיחה (dialog).
המבנה של כל רשומה פשוט מאוד וכולל שלושה שדות: input, target, ו־task. כל הנתונים שמורים כאימון בלבד, ללא חלוקה מובנית לולידציה או בדיקה.
הייחוד כאן הוא החלוקה לקבצים נפרדים לפי קומבינציות ספציפיות. יש הפרדה בין משימות מעטות דוגמאות (fs) לאפס דוגמאות (zs), ובין משימות שמציגות אפשרויות בחירה בתוך ההקשר (opt) לבין כאלה שאינן כוללות אפשרויות כאלו (noopt).
מתאים ל
- אימון הוראות מעורב
כוונון עדין של מודלי שפה על תערובת מבוקרת של משימות שיחה, חשיבה צעד אחר צעד והוראות כלליות.
- אימון למבחנים אמריקאיים
שימוש בקובצי ה־opt כדי ללמד מודל לבחור את התשובה הנכונה מתוך אפשרויות מוגדרות מראש בהקשר.
- שיפור יכולות הנמקה
אימון על תתי הקבצים של cot במצב אפס דוגמאות או מעט דוגמאות כדי לחזק פתרון בעיות שלבי.
איפה זה נופל
המעלה מודה מראש שהגרסה הזו אינה מלאה בהשוואה למקור של גוגל. חסרה כאן משימת התרגום cs-en מתוך WMT בגלל בעיית הרשאות הורדה, ועיבוד המאגר q_re_cc עבור משימות הדיאלוג נכשל ולא נכלל.
בנוסף, הכרטיס אינו מפרט שפות, אך המקורות העיקריים של פלאן נשענים כמעט לחלוטין על אנגלית. אם אתם מחפשים נתונים בעברית, המאגר הזה כנראה לא ייתן לכם מענה. אין כאן גם חלוקת בדיקה, כך שתצטרכו להפריד נתונים להערכה בעצמכם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון המוצהר של המאגר הוא Apache 2.0, והוא מתיר שימוש מסחרי באופן מלא. עם זאת, הנתונים נאספו ממאגרים שונים כמו P3 ו־Super-Natural Instructions, ולכן מומלץ לוודא שהתנאים של תת-המשימות הספציפיות אינם מתנגשים עם המטרות שלכם. עבור מודל פנימי, הרישיון המוצהר מספק הגנה טובה.
האם הדאטהסט כולל תמיכה בעברית?
אין שום אזכור לעברית בתיעוד המאגר. המקורות שעליהם מתבסס אוסף Flan V2 הם ברובם המוחלט באנגלית, כולל משימות ההנמקה והדיאלוגים. אם אתם מאמנים מודל שמיועד לשפה העברית, תצטרכו להביא מקורות נתונים נפרדים לחלוטין.
מה ההבדל בין המאגר הזה לגרסה המקורית של Flan V2?
הגרסה הזו היא עיבוד מחדש שנועד להקל על ההורדה והטעינה ישירות מקובצי JSONL דחוסים. המחבר חילק את הנתונים לפי פורמטים קבועים מראש של שאלות פתוחות או בחירה מרובה. לצד זה, חסרות כאן משימת התרגום מצ'כית לאנגלית ודאטהסט השיחה q_re_cc שלא עבר עיבוד.
איך מחליטים אילו קבצים לטעון מתוך העשרים?
ההחלטה תלויה ביכולות שתרצו לחזק במודל. אם המטרה היא מענה על שאלות עם אפשרויות בחירה, טוענים קבצים עם הסיומת opt, ואם רוצים תשובות חופשיות בוחרים ב־noopt. יוצרי פלאן ממליצים לבצע ניסויים עם יחסי ערבוב שונים בין משימות ההנמקה, השיחה וההוראות הכלליות.
איך טוענים
טוענים את הנתונים ישירות מספרית datasets באמצעות הנתיב philschmid/flanv2, או מורידים ידנית את קובצי ה־JSONL הדחוסים. אין צורך באישור גישה מיוחד, המאגר פתוח לציבור.
במאגר יש עשרים קבצים בסיומת jsonl.gz שמחולקים לפי המשימות השונות. לפני שמתחילים לאמן, צריך לבחור אילו קבצים לטעון ולהגדיר את יחס הערבוב בין המשימות, במקום לבלוע את כל המאגר בבת אחת.
from datasets import load_dataset
ds = load_dataset("philschmid/flanv2")הרישיון
המאגר מדווח תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה, ואינו מחייב אתכם לשחרר מודלים שאומנו עליו תחת אותו רישיון. החובה העיקרית היא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים עצמם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים