gutenberg3-generalfiction-scifi-fantasy-romance-adventure-dpo
קוד פתוחsam-paechרישיון לא דווח2024-10-19
המאגר מרכז קטעי ספרות מקוריים מול שכתובים מלאכותיים לצורך אימון DPO. הוא מתאים למי שרוצה ללמד מודל לכתוב פרוזה אנושית יותר בז'אנרים מוגדרים.
- 282הורדות בחודש
- 36לייקים
מה זה
הנתונים מבוססים על 629 ספרי פרוזה בנחלת הכלל מתוך ספריית גוטנברג, ומחולקים לפי סוגות כמו מדע בדיוני, פנטזיה, רומנטיקה והרפתקאות. כל רשומה כוללת צמד טקסטים לאימון העדפה: הקטע הנבחר נלקח ישירות מהספר, והקטע שנדחה נכתב על ידי מודל שפה לפי תיאור הפסקה.
תהליך ההפקה היה אוטומטי ברובו. חצי מהספרים נבחרו ישירות מרשימות ההורדות המובילות בגוטנברג, והחצי השני נבחר על ידי Gemini pro 002 באמצעות פרומפטים שחיפשו את הסופרים הטובים בכל ז'אנר. אותו מודל גם סיווג את הז'אנרים ושלף עד 12 קטעים לכל ספר. מודל GPT 4o ייצר את ההנחיות, והטקסטים שנדחו הופקו באמצעות gemma 2 9b it.
מתאים ל
- אימון העדפה לכתיבה יוצרת
כיוונון מודלים בשיטת DPO כדי להעדיף סגנון ספרותי עשיר על פני ניסוחים סינתטיים.
- התאמת סגנון לפי ז'אנר
סינון קטעים מתוך מדע בדיוני או פנטזיה כדי ללמד מודל ז'רגון עלילתי ספציפי.
- הערכת יכולת הבחנה בסגנון
בדיקה האם מודלים מצליחים להבדיל בין קטע אנושי מקורי לשכתוב של מודל קוד פתוח.
איפה זה נופל
הטקסטים כולם באנגלית ומבוססים על ספרים ישנים שנמצאים בנחלת הכלל, כך שהשפה ארכאית ותקופתית ולא מייצגת סגנון כתיבה מודרני או דיאלוגים עכשוויים. אין כאן מילה בעברית. בנוסף, כל שלבי הסינון, בחירת היצירות ויצירת התיאורים נעשו על ידי מודלים מסחריים כמו Gemini ו־GPT 4o, מה שעלול להכניס הטיות סינתטיות בבחירת הקטעים ובאיכות הפרומפטים ששימשו להשוואה מול gemma.
שאלות
נפוצות
האם יש במאגר טקסטים בעברית?
לא, המאגר כולל אך ורק טקסטים באנגלית. כל החומרים נאספו מתוך מהדורות אנגליות של פרויקט גוטנברג. מי שמחפש נתוני אימון בעברית לא ימצא כאן מענה.
מותר להשתמש בדאטהסט הזה למוצר מסחרי?
מבחינה משפטית המצב בעייתי כיוון שלא דווח שום רישיון בעמוד המאגר. אפילו שטקסט המקור הגיע מנחלת הכלל, חלק מהדאטה הופק במודלים כמו GPT 4o ואין היתר שימוש מפורש. לחברות מומלץ להימנע מאימון מסחרי עליו.
איך נוצרו הזוגות שנדחו עבור ה־DPO?
הטקסטים שנדחו הופקו באמצעות המודל gemma 2 9b it. מודל GPT 4o יצר תיאור מקדים עבור כל קטע ספרותי מקורי, ועל בסיס התיאור הזה נדרש מודל גמא לכתוב גרסה משלו. הפסקה שגמא ייצר סומנה כקטע הדחוי בהשוואה לספר המקורי.
איך המאגר הזה שונה מסטים דומים של גוטנברג?
הוא מתבסס ישירות על המבנה של המאגר של JonDurbin אבל מוסיף חלוקה מפורשת לפי ז'אנרים. החלוקה הזו מאפשרת לבודד קטגוריות כמו פנטזיה או הרפתקאות, במקום להשתמש בכל הספרייה ללא הבחנה.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות הנתיב sam-paech/gutenberg3-generalfiction-scifi-fantasy-romance-adventure-dpo. המאגר פתוח לציבור ואינו דורש אישור גישה מראש. הנתונים שמורים בשני קובצי Parquet נפרדים, אחד לאימון ואחד לבדיקה, ומכילים 4 קבצים בסך הכל במאגר. בעבודה מולם תפגשו את השדות שמגדירים את הזוגות ל־DPO לצד תיוג הז'אנר, כך שניתן לסנן ולטעון רק סוגות מסוימות אם מעוניינים לאמן על סגנון ספציפי בלבד.
from datasets import load_dataset
ds = load_dataset("sam-paech/gutenberg3-generalfiction-scifi-fantasy-romance-adventure-dpo")הרישיון
בעמוד הדאטהסט לא מוגדר רישיון כלל. למרות שטקסט המקור מגיע מספרים בנחלת הכלל, היעדר רישיון רשמי יוצר סיכון משפטי ברור. שימוש מסחרי במאגר כזה אינו מומלץ כל עוד היוצר לא הגדיר תנאים, שכן לא ברור אם מותר להפיץ מודל שאומן עליו.