creative-writing-control-vectors-v3.0

מה זה

המאגר הזה אינו מודל שפה עצמאי, אלא ספרייה של 925 קובצי וקטורים במשקל כולל של 1.4 גיגה בייט. הרעיון פשוט: במקום לבצע פיין-טיונינג או להעמיס פרומפטים מסורבלים, מזריקים וקטורי בקרה ישירות לשכבות המודל דרך מנוע ההרצה. הקבצים מותאמים לשורה ארוכה של ארכיטקטורות מובילות, מקטנות כמו מיסטרל 7B ועד ענקיות כמו מיסטרל לארג' 123B.

הווקטורים מכסים שלושה צירים של סגנון כתיבה, כמו שפה פשוטה מול מקושטת, עלילה מפורשת לעומת תיאורית, והתמקדות בדיאלוג או בדמויות. הדור השלישי הזה מבוסס על חילוץ כיוונים מתוך 2,500 שילובי פרומפטים ייעודיים. היתרון הגדול הוא היכולת לחבר כמה צירים יחד ולשחק עם המשקלים שלהם בלי לגעת במשקולות המקוריות של המודל.

מתאים ל

• כתיבת פרוזה מותאמת

  שליטה בעושר השפה וברמת הפירוט של תיאורי הסצנות בלי להעמיס הנחיות מייגעות בתוך הפרומפט.

• משחקי תפקידים ובוטים

  הטיית מודלים פתוחים לעבר דיאלוגים חיים ודינמיים על חשבון תיאורי רקע יבשים בזמן אמת.

• ניקוי סגנון שבלוני

  שימוש בווקטורי ביטול הטיה כדי להיפטר מהניסוחים התאגידיים המאפיינים מודלים שעברו כוונון הנחיות.

איפה זה נופל

ההגבלה הקריטית ביותר היא החובה להשתמש בווקטור ביטול ההטיה התואם עבור כל ציר שנבחר. וקטורי הכיוון החיוביים והשליליים פשוט לא פועלים בפני עצמם. בנוסף, אם תגדירו משקל גבוה מדי או תשלבו יותר מדי וקטורים במקביל, הפלט עלול להישבר לחלוטין ולהפוך לג'יבריש. אין כאן מנגנון בטיחות אוטומטי, והאיזון דורש ניסוי וטעייה ידניים. כמו כן, הווקטורים נבנו על פרומפטים באנגלית, כך שההשפעה שלהם על כתיבה בעברית לא נבדקה ועלולה להיות מוגבלת.

איך מריצים

ההרצה דורשת שימוש בגרסה עדכנית של llama.cpp שתומכת בחיבור מספר וקטורים בו-זמנית, דרך שורת הפקודה עם הדגלים המתאימים או כשרת מקומי. החומרה הנדרשת נקבעת לחלוטין לפי מודל הבסיס שבו בחרתם, שכן הווקטורים עצמם כמעט אינם צורכים זיכרון נוסף.

אם אתם עובדים עם מודל גדול של 70 או 120 מיליארד פרמטרים, תצטרכו שרת עם מספר כרטיסי מסך חזקים. במקרים כאלה עדיף לפעמים להשתמש ב־API מסחרי רגיל, אלא אם אתם חייבים שליטה מוחלטת בסגנון הפלט ומריצים תשתית מקומית ממילא.

ollama run hf.co/jukofyork/creative-writing-control-vectors-v3.0:lumimaid-v0.2:123b-language__debias

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

925 קבצים במאגר, 1.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Lumimaid-v0.2-123B/lumimaid-v0.2:123b-character_focus__debias.gguf4.3 MB
• Lumimaid-v0.2-123B/lumimaid-v0.2:123b-character_focus__dialogue.gguf4.3 MB
• Lumimaid-v0.2-123B/lumimaid-v0.2:123b-character_focus__narration.gguf4.3 MB
• Lumimaid-v0.2-123B/lumimaid-v0.2:123b-compassion_vs_sadism__compassion.gguf4.3 MB
• Lumimaid-v0.2-123B/lumimaid-v0.2:123b-compassion_vs_sadism__debias.gguf4.3 MB
• Lumimaid-v0.2-123B/lumimaid-v0.2:123b-compassion_vs_sadism__sadism.gguf4.3 MB
• Lumimaid-v0.2-123B/lumimaid-v0.2:123b-empathy_vs_sociopathy__debias.gguf4.3 MB
• Lumimaid-v0.2-123B/lumimaid-v0.2:123b-empathy_vs_sociopathy__empathy.gguf4.3 MB
• Lumimaid-v0.2-123B/lumimaid-v0.2:123b-empathy_vs_sociopathy__sociopathy.gguf4.3 MB
• Lumimaid-v0.2-123B/lumimaid-v0.2:123b-humility_vs_narcissism__debias.gguf4.3 MB
• Lumimaid-v0.2-123B/lumimaid-v0.2:123b-humility_vs_narcissism__humility.gguf4.3 MB
• Lumimaid-v0.2-123B/lumimaid-v0.2:123b-humility_vs_narcissism__narcissism.gguf4.3 MB
• Lumimaid-v0.2-123B/lumimaid-v0.2:123b-language__debias.gguf4.3 MB
• Lumimaid-v0.2-123B/lumimaid-v0.2:123b-language__ornate.gguf4.3 MB
• Lumimaid-v0.2-123B/lumimaid-v0.2:123b-language__simple.gguf4.3 MB
• Lumimaid-v0.2-123B/lumimaid-v0.2:123b-optimism_vs_nihilism__debias.gguf4.3 MB
• Lumimaid-v0.2-123B/lumimaid-v0.2:123b-optimism_vs_nihilism__nihilism.gguf4.3 MB
• Lumimaid-v0.2-123B/lumimaid-v0.2:123b-optimism_vs_nihilism__optimism.gguf4.3 MB
• Lumimaid-v0.2-123B/lumimaid-v0.2:123b-storytelling__debias.gguf4.3 MB
• Lumimaid-v0.2-123B/lumimaid-v0.2:123b-storytelling__descriptive.gguf4.3 MB
• Lumimaid-v0.2-123B/lumimaid-v0.2:123b-storytelling__explicit.gguf4.3 MB
• Mistral-Large-Instruct-2407/mistral-large:123b-character_focus__debias.gguf4.3 MB
• Mistral-Large-Instruct-2407/mistral-large:123b-character_focus__dialogue.gguf4.3 MB
• Mistral-Large-Instruct-2407/mistral-large:123b-character_focus__narration.gguf4.3 MB
• Mistral-Large-Instruct-2407/mistral-large:123b-compassion_vs_sadism__compassion.gguf4.3 MB
• Mistral-Large-Instruct-2407/mistral-large:123b-compassion_vs_sadism__debias.gguf4.3 MB
• Mistral-Large-Instruct-2407/mistral-large:123b-compassion_vs_sadism__sadism.gguf4.3 MB
• Mistral-Large-Instruct-2407/mistral-large:123b-empathy_vs_sociopathy__debias.gguf4.3 MB
• Mistral-Large-Instruct-2407/mistral-large:123b-empathy_vs_sociopathy__empathy.gguf4.3 MB
• Mistral-Large-Instruct-2407/mistral-large:123b-empathy_vs_sociopathy__sociopathy.gguf4.3 MB
• Mistral-Large-Instruct-2407/mistral-large:123b-honesty_vs_machiavellianism__debias.gguf4.3 MB
• Mistral-Large-Instruct-2407/mistral-large:123b-honesty_vs_machiavellianism__honesty.gguf4.3 MB
• Mistral-Large-Instruct-2407/mistral-large:123b-honesty_vs_machiavellianism__machiavellianism.gguf4.3 MB
• Mistral-Large-Instruct-2407/mistral-large:123b-humility_vs_narcissism__debias.gguf4.3 MB
• Mistral-Large-Instruct-2407/mistral-large:123b-humility_vs_narcissism__humility.gguf4.3 MB
• Mistral-Large-Instruct-2407/mistral-large:123b-humility_vs_narcissism__narcissism.gguf4.3 MB
• Mistral-Large-Instruct-2407/mistral-large:123b-language__debias.gguf4.3 MB
• Mistral-Large-Instruct-2407/mistral-large:123b-language__ornate.gguf4.3 MB
• Mistral-Large-Instruct-2407/mistral-large:123b-language__simple.gguf4.3 MB
• Mistral-Large-Instruct-2407/mistral-large:123b-optimism_vs_nihilism__debias.gguf4.3 MB

הרישיון

הרישיון הוא אפאצ'י 2.0. מותר להשתמש בקבצים לפרויקטים מסחריים ופרטיים, לשנות אותם ולהפיץ אותם הלאה בלי תמלוגים. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי בקוד או במוצר שאתם מפיצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗