Gemma-The-Writer-N-Restless-Quill-10B-Uncensored-GGUF

קוד פתוח

DavidAUapache-2.02024-10-25

gguf
creative
creative writing
fiction writing
plot generation

המודל הזה משלב ארבעה מודלים לכתיבה יוצרת לתוך בסיס של 10B פרמטרים. הוא מיועד למי שמחפש פרוזה עשירה וחסרת צנזורה בלי הניסוחים היבשים של מודלים מסחריים.

137 GBמשקל הקבצים
6,372הורדות בחודש
157לייקים

מה זה

מדובר במיזוג מסוג DARE TIES של מספר גרסאות Gemma 2 9B, יחד עם מתאם בשם Brainstorm 5x שמוסיף קרוב למיליארד פרמטרים. התוצאה היא מודל של 10B פרמטרים ו־46 שכבות, שמכוון ישירות לכתיבת סיפורת, אימה ומשחקי תפקידים. המטרה של המיזוג הייתה לחסל קלישאות לשוניות וביטויים שחוזרים על עצמם בתוצרי GPT, תוך שבירת הצנזורה המקורית של גוגל באמצעות שילוב מודלים כמו Tiger Gemma ו־Ellaria.

במקום לענות בתשובות קצרות וזהירות, הוא מייצר פסקאות ארוכות ומורכבות עם אוצר מילים ספרותי, ומגיב חזק להנחיות סגנון מקדימות. הוא תומך בהרחבת חלון ההקשר מ־8k ל־32k באמצעות RoPE, ורמת הסינון נקבעת רק לפי מה שתבקשו בפרומפט עצמו. אין כאן מנגנון בטיחות פנימי שיחסום שפה בוטה או תיאורים גרפיים.

מתאים ל

כתיבת סיפורי אימה ומתח
המודל כולל רכיבים לביטול צנזורה ומייצר פירוט גרפי ואווירה קודרת בלי לחסום בקשות.
משחקי תפקידים מבוססי טקסט
מתאים לסשנים ב־KoboldCpp בזכות יציבות בסגנון ופסקאות עשירות שמגיבות לפרומפט מקדים.
עריכת פרוזה ושבירת קלישאות
הוא נבנה במיוחד כדי לחסל ניסוחי GPT שגרתיים ומאפשר גיוון באורך המשפטים.

איפה זה נופל

המודל נוטה להימרח ולייצר טקסטים ארוכים מדי ללא שליטה, במיוחד בטמפרטורה מעל 1.5. חייבים להגדיר ענישת חזרתיות מדויקת של 1.02 ומעלה, ומומלץ לקבוע מגבלת טוקנים קשיחה כדי שלא ימשיך לכתוב בלי סוף. בנוסף, רמת הדחיסה בגרסאות הנמוכות כמו Q2K פוגעת קשות בתוצרים ודורשת הורדת טמפרטורה, והוא אינו מתאים למשימות קוד או עובדות יבשות.

שאלות
נפוצות

איך מונעים מהמודל להמשיך לייצר טקסט בלי לעצור?

צריך להעלות את מקדם ענישת החזרתיות לאזור 1.08 עד 1.15, או להגדיר מקסימום טוקנים נוקשה בממשק ההרצה שלכם. שילוב של טמפרטורה גבוהה עם ענישה נמוכה גורם לו לכתוב בלי סוף.

האם הוא יודע לכתוב בעברית?

הנתונים מציגים תמיכה באנגלית בלבד. המודלים שמוזגו בו אומנו על טקסטים באנגלית, ולכן לא מומלץ להסתמך עליו ליצירת עברית תקינה.

איך מריצים

כדי להריץ אותו מקומית צריך כלי תומך GGUF כמו KoboldCpp או llama.cpp, עם תבנית Gemma Instruct. קובצי ה־Q4 הסטנדרטיים דורשים כ־6 עד 8 גיגה בייט בזיכרון, ולגרסאות כמו Q8 נדרשים מעל 10 גיגה בייט. גרסאות ה־MAX-CPU מעבירות חלק מהטנזורים ל־RAM כדי לחסוך מקום בכרטיס המסך על חשבון מהירות הייצור. אין למודל הזה נקודת קצה מסחרית מנוהלת, כך שאם אין לכם כרטיס מסך מתאים עם לפחות 8GB זיכרון, עדיף לשכור שרת ענן פשוט לפי שעה.

ollama run hf.co/DavidAU/Gemma-The-Writer-N-Restless-Quill-10B-Uncensored-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

24 קבצים במאגר, 137 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון המדווח הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, למזג אותו ולהפיץ אותו הלאה בחינם או בתשלום, כל עוד מצרפים את כתב הרישיון המקורי ומציינים את השינויים שבוצעו.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗