Augmental-Dataset

מה זה

המאגר כולל דיאלוגים מרובי משתתפים שמקורם במשחק Steins;Gate. הטקסטים המקוריים עברו סינון, עיצוב מחדש ושכתוב בעזרת כלי בינה מלאכותית, חלקם פעמיים, לצד בדיקות איכות ידניות בחלק קטן מהמקרים. אין כאן חלוקה מובנית לפיצולים כמו אימון או בדיקה, אלא קובץ נתונים ראשי.

כל רשומה מייצגת שורת דיאלוג ומכילה ארבעה שדות. השדה Scenario נוצר במודל שפה ומתאר את הקשר השיחה, השדה Speaker מגדיר מי מדבר מתוך רשימה סגורה של שבע דמויות, השדה History שומר את השורות הקודמות בשיחה עם שורה אחת לפחות תמיד, והשדה Completion מציג את השורה עצמה שנכתבה במקור ועברה שיפור בבינה מלאכותית.

מתאים ל

• אימון למשחקי תפקידים

  כוונון עדין של מודלי שיחה כדי לייצר סגנון תגובה עשיר ומשחקי לפי דמויות קבועות.

• בדיקת שכתוב סינתטי

  מחקר על השפעת שכתוב כפול באמצעות בינה מלאכותית על איכות דיאלוגים קיימים.

• בוטים של Steins;Gate

  בניית סוכני שיחה המחקים ספציפית את אוקאבה, קוריסו ושאר דמויות המשחק.

איפה זה נופל

זה לא מתאים למוצרים אמיתיים ולא לשיחה כללית. כל הטקסט מוגבל לעולם ולסגנון של משחק אחד ולשבע דמויות מסוימות בלבד, כולן באנגלית, בלי שום עברית. היוצר מודה שרק חלק קטן מהנתונים עבר בדיקת איכות אנושית ידנית, והשאר נשען לחלוטין על שכתובים של מודלי שפה, כך שעלולות להיות הזיות וחוסר עקביות עלילתית.

איך טוענים

הקובץ המרכזי במאגר הוא final_dataset.json. אין צורך באישור גישה כדי להוריד אותו, אפשר פשוט לטעון אותו ישירות מהמאגר של Hugging Face או לקרוא אותו בעזרת ספריית datasets וקריאת json רגילה בפייתון. מבנה הנתונים דורש עיבוד מקדים לפני אימון, והיוצר מפנה לקוד חיצוני בגיטהאב שמראה איך לעצב את השדות Scenario, History ו־Completion לתבניות שמודלים מבינים.

from datasets import load_dataset

ds = load_dataset("Heralax/Augmental-Dataset")

הרישיון

הרישיון מוגדר כלא ידוע והיוצר השאיר אותו ריק בכוונה. הנתונים מתבססים על תוכן המוגן בזכויות יוצרים של חברת המשחקים MAGES, והיוצר מצהיר שימחק את המאגר אם בעלי הזכויות ידרשו זאת. אסור להשתמש בזה למטרות מסחריות, וכל שימוש במודל שאומן על המאגר מציב סיכון משפטי של הסרה או תביעה.

הרישיון המלא ב־Hugging Face ↗