pippa_scored
קוד פתוחIlyaGusevapache-2.02023-09-22
שיחות רולפליי ממאגר PIPPA שעברו תיוג של תכונות אופי והתנהגות בעזרת GPT-4. המאגר מאפשר לאמן מודלים על סגנון דיבור מסוים או לסנן שיחות לפי מדדים התנהגותיים.
- 58הורדות בחודש
- 31לייקים
מה זה
המאגר מכיל שיחות מרובות תורות של משתמשים עם בוטים לצד הגדרות הבוט, תיאורו ופתיח השיחה שלו. המקור הוא תת קבוצה מתוך פרויקט PIPPA של קהילת PygmalionAI, המיועד למשחקי תפקידים ושיחות פתוחות.
איליה גוסב העביר את השיחות ניתוח מבוסס מודל שפה, ככל הנראה GPT-4 וגרסאות צ'אט שלו, והוסיף לכל רשומה עשרות ציונים מספריים. הציונים מכסים קווי אישיות כמו אמפתיה, תוקפנות, עקשנות, חוכמה והומור, לצד מדדים כלליים כמו מעורבות משתמש, רמת גסויות, תוכן למבוגרים וסיווג טיפוס אישיות MBTI. לצד כל ציון נשמר גם ההסבר המילולי שסיפק המודל המתייג.
מתאים ל
- אימון בוטים לפי אישיות
סינון דוגמאות לפי רמת אמפתיה, הומור או בוטות כדי לעצב את סגנון הדיבור של המודל.
- סינון תוכן רגיש
שימוש בציוני ה־NSFW והגסויות כדי לבודד ולהוציא שיחות בלתי הולמות לפני שלב האימון.
- הערכת תכונות אופי
שימוש בנתונים כבסיס בדיקה למודלים שצריכים להעריך סגנון תקשורת וטיפוסי אישיות בטקסט.
איפה זה נופל
התיוגים כולם מגיעים ממודל שפה ולא מבני אדם, מה שאומר שהציונים סוחבים איתם את ההטיות, העיוורון והנורמות התרבותיות של המודל שניתח אותם. הדאטהסט כולו באנגלית, ולכן לא יעזור לפרויקטים שצריכים עברית ישירה ללא תרגום. בנוסף, המאגר מתמקד ברולפליי וכולל שיחות עם תוכן בוטה או למבוגרים, כך שחובה לסנן את מדדי ה־NSFW והגסויות לפני שחושבים להשתמש בו במוצר מסחרי שפונה לקהל רחב.
שאלות
נפוצות
האם יש במאגר שיחות בעברית?
לא. כל השיחות והתיוגים בדאטהסט הזה הם באנגלית בלבד. אם רוצים להשתמש בו בעברית, צריך לתרגם את השיחות או לאמן מודל שיודע לבצע העברת יכולות בין שפות.
כמה רשומות יש בדאטהסט בפועל?
למרות שתגית הגודל מציינת טווח של עד 100 אלף רשומות, קובץ האימון מכיל 1,960 דוגמאות בלבד. מדובר במדגם ממוקד מתוך מאגר PIPPA הגדול יותר שעבר תיוג מפורט.
מותר להשתמש בו לאימון מודל מסחרי?
הרישיון המוצהר הוא Apache 2.0 המאפשר שימוש מסחרי חופשי למדי. עם זאת, התיוגים יוצרו באמצעות GPT-4, דבר שמגביל לעיתים שימוש לאימון מודלים מסחריים לפי תנאי השירות של OpenAI.
במה הוא שונה ממאגר PIPPA המקורי?
המאגר המקורי כולל כמות גדולה של שיחות גולמיות ללא ניתוח פסיכולוגי. כאן צורפו לכל שיחה עשרות מדדי אישיות, הערכות MBTI והסברים טקסטואליים של המודל על התנהגות הדמויות.
איך טוענים
טוענים את המאגר ישירות מתוך ספריית datasets של Hugging Face בלי צורך באישור מיוחד. קובץ הנתונים הוא train.parquet בגודל הורדה של כ־16 מגהבייט, כך שהוא נטען תוך שניות בודדות לזיכרון. המבנה מורכב מרשימת הודעות עם סימון מי הדובר, ומשורת שדות מספריים וטקסטואליים של הציונים וההסברים. שימו לב שבפועל יש בו 1,960 דוגמאות אימון בלבד, למרות התגית הכללית באתר.
from datasets import load_dataset
ds = load_dataset("IlyaGusev/pippa_scored")הרישיון
המאגר מופץ תחת רישיון apache-2.0, שמתיר שימוש מסחרי, שינוי והפצה של הנתונים ושל מודלים שאומנו עליהם, בכפוף למתן קרדיט וצירוף עותק מהרישיון. עם זאת, מקור השיחות הוא PIPPA וניתוח התכונות בוצע באמצעות שירותי OpenAI, תנאי שימוש צד שלישי שעלולים לסבך אימון של מודלים מתחרים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים