Opus_WritingStruct
קוד פתוחNopmapache-2.02024-07-24
מאגר קטן של כתיבה יצירתית והוראות שנבנה באמצעות קלוד 3 אופוס. הוא מיועד למי שרוצה לשפר את סגנון הפרוזה והמענה היצירתי של מודל קיים.
- 231הורדות בחודש
- 39לייקים
מה זה
המאגר כולל בין אלף לעשרת אלפים רשומות שנוצרו כולן בצורה סינתטית על ידי Claude 3 Opus של חברת Anthropic. המטרה המוצהרת של הפרויקט היא לחשוף את הפרוזה העשירה של המודל על פני קשת רחבה של ז׳אנרים ספרותיים שונים. מעבר לטקסטים סיפוריים, יש כאן גם צמדים של שאלות ותשובות שממוקדים ישירות בנושאי כתיבה, עריכה ויצירה.
התוכן עבר תהליכי ניקוי וסינון אוטומטיים בלבד, ללא עין אנושית שעברה על כל שורה ושורה. היוצר נעזר בהנדסת פרומפטים שפותחה יחד עם קהילת SillyTilly והמשתמש Kalomaze כדי לייצר שיחות עמוקות ומגוונות. אין פה חלוקה מורכבת לקבצים מרובים, כל המידע יושב בקובץ אחד שמיועד לטעינה ישירה של דוגמאות טקסט.
מתאים ל
- כוונון עדין לכתיבה יוצרת
שיפור היכולת של מודל פתוח לייצר פרוזה עשירה וסיפורים מורכבים במגוון ז'אנרים.
- אימון עוזרי כתיבה ועריכה
לימוד המערכת לענות על שאלות מקצועיות של כותבים בנושאי עלילה, מבנה וסגנון.
- בדיקת איכות לפרומפטים
השוואת ביצועים וסגנון מענה מול הפלט המקורי של קלוד 3 אופוס.
איפה זה נופל
היוצר מבהיר שמדובר בגרסה ראשונה, ולכן יש בפנים טקסט באיכות ירודה, מה שמכונה בעגה המקצועית slop. הסינון היה אוטומטי לחלוטין, כך שאין שום הבטחה לרמת עקביות מושלמת. המאגר כולו באנגלית בלבד, ואין בו שום התאמה ישירה לעברית. אם אתם בונים מערכת שמיועדת לסביבת ייצור, תצטרכו לסנן את הדאטה בעצמכם כדי לוודא שדפוסי כתיבה מלאכותיים או שגיאות של המודל המקורי לא נכנסים לתוך התוצרים.
שאלות
נפוצות
האם המאגר הזה מתאים לשימוש מסחרי בישראל?
הרישיון של המאגר הוא Apache 2.0 שמתיר שימוש מסחרי מלא. הבעיה היחידה נובעת מתנאי השימוש של Anthropic לגבי שימוש בפלטים של קלוד לאימון מודלים מסחריים מתחרים, וזה סיכון משפטי שצריך לקחת בחשבון.
האם יש בדאטהסט תמיכה בעברית?
לא. כל הנתונים נוצרו באנגלית בלבד, ואין שם טקסטים בעברית. כדי להשתמש בו לטובת מודל עברי תצטרכו לתרגם אותו בצורה מוקפדת או להשתמש בו רק לרכיב הידע והמבנה.
איך הנתונים נאספו ונבדקו?
הם נוצרו בצורה מלאכותית על ידי שליחת בקשות למוח של Claude 3 Opus בעזרת תמיכה מקהילת SillyTilly. הניקוי נעשה בכלים אוטומטיים בלבד, כך שלא היה תהליך בדיקה אנושי ידני לפני הפרסום.
כמה מקום ומשאבים צריך כדי להוריד אותו?
המאגר כולל סדר גודל של אלפי רשומות בודדות בקובץ jsonl אחד. מדובר בקובץ קטן מאוד שיורד תוך שניות בודדות ולא דורש חומרה מיוחדת כדי לטעון אותו לזיכרון.
איך טוענים
הקובץ המרכזי שמעניין אתכם הוא claude_dataset.jsonl, שיושב לצד תיעוד הרישיון וההסברים. הטעינה מתבצעת ישר דרך ספריית datasets הרגילה בלי צורך לבקש הרשאות גישה מיוחדות או לחכות לאישור של היוצר, פשוט מושכים את המאגר לפי הנתיב שלו בהאגינג פייס. בגלל שמדובר באלפי רשומות בודדות, הקובץ קל מאוד להורדה, לא תופס נפח מורגש בדיסק ולא דורש משאבי זיכרון כבדים בזמן העבודה.
from datasets import load_dataset
ds = load_dataset("Nopm/Opus_WritingStruct")הרישיון
המאגר מופץ תחת רישיון Apache 2.0, שמתיר שימוש חופשי כולל שימוש מסחרי, שינוי והפצה, כל עוד אתם משמרים את הודעת הרישיון וקרדיט המקור. הרישיון עצמו לא מחייב אתכם לפתוח את הקוד שלכם או לחלוק את המודל המאומן תחת אותו רישיון. עם זאת, קחו בחשבון שהנתונים יוצרו באמצעות מודל של Anthropic, דבר שעלול להתנגש עם תנאי השימוש של החברה בנוגע לאימון מודלים מתחרים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים