OPT-13B-Erebus

מה זה

מדובר בדור השני של מודל שפותח במקור על בסיס ארכיטקטורת OPT של מטא, תחת הידיים של קהילת KoboldAI. המטרה כאן מאוד מוגדרת. הוא אומן על שישה מאגרי מידע שונים של תוכן ארוטי, כולל אתרים כמו Literotica בציון גבוה, Sexstories, מאגרים פרטיים וסיפורי פרווה מתוך SoFurry. כדי לשלוט בסגנון הכתיבה, הנתונים תויגו לפי ז'אנרים שונים באמצעות תגיות ייעודיות בטקסט.

בניגוד למודלים גנריים בגודל הזה שמנסים לענות על שאלות ידע או לכתוב קוד, כאן כל המשקל הוטה לכיוון נרטיבי למבוגרים בלבד. הוא פועל באנגלית בלבד ומייצר המשכי טקסט יצירתיים, אבל נושא איתו הטיה כבדה מאוד לחומרים מיניים גם כשלא מבקשים ממנו מפורשות.

מתאים ל

• כתיבת פרוזה למבוגרים

  הוא אומן על סיפורים מרובי דירוגים ומיועד להמשיך עלילות אירוטיות באנגלית לפי תגיות ז'אנר.

• משחקי תפקידים טקסטואליים

  מתאים לחיבור מול ממשקי טקסט עצמאיים הדורשים יצירת עולם אפל או תכנים לקהל בוגר.

• מחקר על הטיות במודלי שפה

  בסיס טוב לבדיקת השפעת אימון על נתונים לא מצונזרים ומידת ההטיה של מודלים פתוחים.

איפה זה נופל

היוצרים מזהירים במפורש שהתוכן אינו מתאים לקטינים בשום צורה, והוא יוציא טקסט בוטה ביותר. המודל סובל מהטיות חזקות בנושאי מגדר, מקצוע, גזע ודת, שנובעות ישירות ממאגרי הסיפורים הלא מסוננים שעליהם אומן. הוא לא יודע עברית, לא מתאים לשום משימה עסקית, חלון ההקשר שלו מוגבל ל־2,048 טוקנים בלבד, והוא נוטה לסטות לתוכן מיני גם מתוך פניות ניטרליות.

איך מריצים

טעינה של המודל נעשית ישירות דרך ספריית transformers בפייתון באמצעות צינור ייצור טקסט רגיל. הקבצים שוקלים 23.9 ג'יגה בייט ומגיעים בדיוק של float16 שמחולק לתשעה חלקים, כך שחובה להחזיק כרטיס גרפי עם זיכרון וידאו שמסוגל להכיל משקל כזה בבת אחת, או לפצל אותו על פני כמה מעבדים גרפיים.

אם אין לכם חומרה מקומית חזקה דיה שמסוגלת להחזיק כמות כזו של שכבות ופרמטרים בזמן ריצה, לא תצליחו להרים אותו מקומית בצורה סבירה. במצב כזה הפתרון היחיד הוא שכירת שרת ענן ייעודי עם מאיץ מתאים, כי שירותי צד שלישי סטנדרטיים לרוב לא מחזיקים מודלים כאלה זמינים בחיבור ישיר.

from transformers import pipeline

pipe = pipeline("text-generation", model="KoboldAI/OPT-13B-Erebus")
print(pipe("שלום"))

הקבצים

9 קבצים במאגר, 23.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin25.7 GB
• vocab.json999.4 KB
• merges.txt456.3 KB
• LICENSE.md11.1 KB
• README.md2.4 KB
• config.json1.6 KB
• .gitattributes1.4 KB
• tokenizer_config.json848 B
• special_tokens_map.json548 B

הרישיון

הרישיון מוגדר בתור other ומפנה לרישיון של OPT-175B מבית Meta Platforms. מדובר ברישיון מחקרי שאינו חופשי לגמרי, מה שאומר שאסור להטמיע אותו במוצרים מסחריים בלי לבדוק לעומק את תנאי השימוש המקוריים של מטא לגבי הפצה ושימוש מסחרי.

הרישיון המלא בעמוד המודל ↗