OpenCharacter

מה זה

המאגר מחולק לשני קבצי JSONL נפרדים שמתארים את תהליך הבנייה של הדמות והשיחה. החלק הראשון מתבסס על תיאורי פרסונה שלקוחים מתוך Persona Hub, ומרחיב אותם לכדי 20 אלף פרופילי דמות מלאים ומפורטים שכוללים מזהה ייחודי, הגדרת אופי ופרטי רקע.

החלק השני מכיל 306 אלף רשומות דיאלוג מלאות. כל שורה בו מחברת את נתוני הדמות והפרסונה לשאלת משתמש מקורית, כולל מקור השאלה, ומציגה תשובה סינתטית שנוצרה במיוחד כדי לשקף את אותה הדמות. לפי החוקרים, אימון מודל בסיס על הנתונים האלה מאפשר לו להגיע ליכולות משחק תפקידים שמתחרות במודלים מסחריים גדולים.

מתאים ל

• אימון בוטים למשחק תפקידים

  פיין טיונינג של מודלי שפה כך שיתמידו בסגנון דיבור ובפרטי רקע לאורך כל השיחה.

• הערכת עקביות של סוכנים

  בדיקת היכולת של מודלים לענות על שאלות משתמש מתוך פרופיל דמות מוגדר מראש.

• בניית סוכני שיחה מותאמים

  שימוש בטכניקות היצירה כדי לייצר דמויות שירות לקוחות או דמויות בידור חדשות.

איפה זה נופל

כל הנתונים במאגר נוצרו באופן סינתטי ובשפה האנגלית בלבד, בלי בדיקת שפות אחרות. אם אתם בונים שירות בעברית, החומר הזה לא יעזור לכם בלי תרגום או התאמה מקיפה. בנוסף, מודלים שמאומנים על טקסט סינתטי נוטים לרשת שגיאות והטיות של המודל שיצר אותם מלכתחילה, כך שחובה לסנן את התשובות לפני שמכניסים אותן למערכת שמדברת עם משתמשי קצה.

איך טוענים

הקבצים שמורים במבנה JSONL סטנדרטי תחת שתי תצורות שונות, אחת לכל קובץ. אין צורך לבקש אישור גישה כדי להוריד את המאגר, ואפשר לטעון ישירות את synthetic_character.jsonl או את synthetic_dialogue.jsonl. השדות שתרצו לחלץ לאימון השיחות הם בעיקר character_answer מול השאלה והפרופיל של הדמות.

from datasets import load_dataset

ds = load_dataset("xywang1/OpenCharacter")

הרישיון

המאגר שוחרר תחת רישיון apache-2.0, שבאופן רגיל מתיר שימוש מסחרי ושינויים בתנאי ששומרים על הודעת זכויות היוצרים ומצרפים את הרישיון המקורי. עם זאת, בעמוד עצמו הוסיפו הבהרה שמייעדת את המאגר למחקר בלבד, מה שיוצר סתירה משפטית שכדאי לבחון עם עורך דין לפני שמאמנים מוצר מסחרי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗