GPT
הוספת כלי
M

Midnight-Miqu-70B-v1.5

קוד פתוח

sophosympatheiaother2024-03-11

  • transformers
  • safetensors
  • llama
  • text-generation
  • mergekit

שילוב של שני מודלים בגודל 70B שמיועד למשחקי תפקידים וכתיבה יוצרת ללא צנזורה. הוא מתאים למי שמחפש טקסט עשיר ולא מוגבל ומוכן להתמודד עם הרצה מקומית כבדה.

  • 69Bפרמטרים
  • 32,764טוקנים בהקשר
  • 128 GBמשקל הקבצים
  • 8,397הורדות בחודש

מה זה

מדובר במיזוג בשיטת DARE Linear בין Midnight Miqu 1.0 לבין Tess 70B v1.6. המטרה של המפתח היתה לשמור על סגנון הכתיבה של הגרסה הקודמת ולהוסיף לה יכולות מ־Tess, בלי לפגוע במדדי EQ Bench ובמדדי פרפלקסיטי אחרי קוונטיזציה ב־EXL2. המודל פועל עם חלון הקשר של 32,764 טוקנים ומגיב במיוחד לשינויים בהנחיות המערכת.

במבחני Open LLM Leaderboard הוא מקבל ממוצע של 25.22. הציון ב־IFEval מגיע ל־61.18, מה שמראה על יכולת סבירה לעקוב אחרי הוראות פשוטות, אבל המדדים המדעיים נמוכים מאוד, כולל 2.42 בלבד במבחן MATH ברמה 5 ו־6.15 ב־GPQA. התוצאות האלה משקפות בדיוק את המטרה שלו, הוא לא נבנה לפתרון משוואות או למחקר, אלא לייצור טקסט חופשי.

מתאים ל

  • משחקי תפקידים ב־SillyTavern

    הוא מותאם ישירות לתבניות של SillyTavern ומגיב היטב להוראות בימוי מפורטות.

  • כתיבה עלילתית ללא צנזורה

    הוא מייצר טקסט חופשי לחלוטין ליוצרים שרוצים לעקוף מגבלות תוכן מסחריות.

  • סימולציות שיחה ארוכות

    חלון של 32K טוקנים מאפשר לנהל עלילות מורכבות בלי לאבד את ההקשר מוקדם מדי.

איפה זה נופל

המודל מגיע ללא צנזורה מכל סוג, ואין בו מנגנוני בטיחות מובנים. המפתח מודה שהוא נבנה אך ורק לכתיבה ולמשחקי תפקידים, ולא נבדק במשימות אחרות. ציוני הבנצ'מרק הנמוכים בחישובים ובמדע מראים שהוא ייכשל במשימות לוגיות מורכבות.

בנוסף, הוא דורש חימום בתחילת השיחה. המפתח מציין שצריך לתת לו דוגמאות בשיטת few-shot כדי לייצב את סגנון הכתיבה, וקשה להסתמך עליו ביציאה הראשונה מהקופסה בלי הכוונה מדויקת.

אותה משפחה

Midnight-Miqu יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Midnight-Miqu-70B-v1.0184

שאלות
נפוצות

האם המודל הזה מתאים לפיתוח בוט לתמיכת לקוחות?

לא. המודל אינו מצונזר, נוטה לטעויות במשימות לוגיות ולא נבדק כלל לשימושים עסקיים. בנוסף, הרישיון שלו אוסר שימוש שאינו פרטי.

איזה פורמט הנחיות עובד איתו הכי טוב?

המפתח ממליץ על פורמט Vicuna עם ירידת שורה אחרי התפקידים, או על פורמט Mistral. הוא מציע להימנע משימוש בפורמט ChatML.

למה התשובות הראשונות בצ'אט לא נראות טוב?

היוצר מציין שהמודל זקוק לחימום. אספקת כמה דוגמאות בתוך הפרומפט בתחילת השיחה משפרת את איכות הטקסט באופן ניכר.

איך מריצים

המשקל המקורי ב־float16 תופס 128 גיגה בייטים ב־25 קבצים, כך שאי אפשר להריץ אותו על חומרה ביתית רגילה בלי קוונטיזציה. בגרסאות מכווצות של EXL2 או GGUF אפשר לדחוס אותו לתוך שני כרטיסי RTX 3090 או RTX 4090, תלוי ברמת הדחיסה שתבחרו בין 4.0 ל־6.0 bpw.

המפתח ממליץ לעבוד עם פורמט Vicuna או Mistral, ולהשתמש בדגימת Min-P יחד עם Quadratic Sampling בערך של 0.2. אם אין לכם 48 גיגה של VRAM פנוי לפחות, עדיף לפנות לשרת ענן ייעודי ולא לנסות להריץ אותו מקומית.

from transformers import pipeline

pipe = pipeline("text-generation", model="sophosympatheia/Midnight-Miqu-70B-v1.5")
print(pipe("שלום"))

הקבצים

25 קבצים במאגר, 128 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר כ־other, והמודל נשען על משקולות שהודלפו ממודל של Mistral דרך גרסת Miqu. המפתח מדגיש שהשימוש מותר אך ורק לצרכים אישיים ופרטיים. אין כאן שום אחריות, ואסור לחלוטין לשלב אותו במוצר מסחרי או בשירות שמופץ למשתמשים חיצוניים.

הרישיון המלא בעמוד המודל ↗