haiku_dpo

מה זה

כל רשומה מורכבת מבקשת משתמש לכתיבת הייקו, מכמה אפשרויות שונות שנוצרו על ידי מודל שפה, ומציונים שניתנו לכל אפשרות. דניאל ואן סטריאן בנה את המאגר בעזרת הספרייה distilabel והמודל OpenHermes-2.5-Mistral-7B. תהליך יצירת הבקשות התבסס על רשימת מונחי בסיס שנוצרה בסיוע GPT-4 והורחבה בשיטת Self-Instruct.

הדירוג נקבע על ידי פונקציית פייתון פשוטה ולא על ידי בני אדם או מודל שופט. שיר שאינו כולל שלוש שורות מקבל אפס. עבור שיר של שלוש שורות מתחילים מציון ארבע, ומורידים נקודה על כל שורה שסוטה ממבנה ההברות המסורתי של 5-7-5.

המאגר כולל כמה תצורות. תצורת ברירת המחדל מסננת תוצאות שוויון ומבטיחה שהאפשרות הפחות טובה קיבלה ציון נמוך משלוש, כשהיא מחלקת את התוצאות לעמודות של בחירה מועדפת ובחירה שנדחתה. תצורת rule_ranked מכילה את כלל הנתונים הגולמיים ללא סינון זה.

מתאים ל

• אימון DPO טכני

  כוונון מודלים לשמירה על חוקי מבנה נוקשים וספירת הברות באנגלית.

• מחקרי העדפה

  בדיקת השפעת הפער בציונים בין דוגמה מועדפת לנדחית על טיב המודל.

• אימון מודלים קטנים

  הערכת היכולת של מודלי שפה קטנים לשלוט במשימה צרה ומוגדרת היטב.

איפה זה נופל

המאגר כתוב כולו באנגלית והוא מוגבל אך ורק למבנה הנוקשה של שירת הייקו. מערכת הניקוד האוטומטית סופרת הברות באמצעות קוד, והיא כוללת טעויות בזיהוי המשקל. מעבר לכך, כל הטקסטים הם סינתטיים ומבוססים על רשימת נושאים צרה, ללא בדיקה ידנית מלאה של התוכן.

איך טוענים

טוענים את המאגר ישירות מקוד פייתון דרך הספרייה של Hugging Face. הגישה פתוחה ואין צורך באישור ידני. הקבצים נשמרים בפורמט Parquet, והנפח הכולל עומד על כמה אלפי שורות בודדות. השדות החשובים לעבודה מיידית הם question, chosen ו־rejected, לצד difference_in_score שמאפשר לסנן דוגמאות לפי גודל הפער באיכות.

from datasets import load_dataset

ds = load_dataset("davanstrien/haiku_dpo")

הרישיון

המאגר מופץ תחת רישיון CC-BY-4.0. מותר להשתמש בו לצרכים מסחריים ומחקריים, לשנות אותו ולשלב אותו במאגרים אחרים, בתנאי שניתן קרדיט ברור ליוצר. הרישיון אינו מחייב שיתוף באותם תנאים, ומודל שאומן עליו אינו כפוף להגבלות שיתוף אלו.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗