Blue-Orchid-2x7b

מה זה

מדובר בהרחבת תערובת מומחים על בסיס Kunoichi DPO v2 7B בארכיטקטורת מיקסטרל, עם קרוב ל־13 מיליארד פרמטרים וחלון הקשר של 8,192 טוקנים. הרעיון כאן פשוט, חילקו את העבודה לשניים. מומחה אחד מורכב ממיזוג של מודלים שמיועדים למשחקי תפקידים כמו LimaRP ו־Noromaid, והמומחה השני מורכב ממיזוג מודלים לכתיבה יוצרת כמו Erebus ו־Ashhwriter.

במקום לקבל מודל כללי שמנסה לדעת הכל קצת, קיבלתם כלי שמכוון בעיקר לטקסט סיפורי ודיאלוגים מורכבים. אין כאן מבחני ביצועים רשמיים בכרטיס המודל, כך שההבטחה ליכולת בשני התחומים נשענת לגמרי על תערובת המודלים שנכנסה פנימה.

מתאים ל

• משחקי תפקידים בצ'אט

  מומחה אחד מוקדש כולו למודלי שיחה כמו LimaRP ומותאם לפורמט דמויות מוגדר.

• כתיבת סיפורים ועלילה

  המומחה השני משלב מודלי כתיבה כמו Erebus ומיועד ליצירת קטעי פרוזה מתמשכים.

• אינטראקציות בפורמט Alpaca

  הכרטיס מציין תמיכה בתבניות הוראה ידועות, מה שמקל על שילוב בממשקי שיחה קיימים.

איפה זה נופל

המודל הזה לא נועד למשימות קוד, מתמטיקה, שליפת עובדות או ניתוח נתונים עסקיים, ואל תצפו ממנו לתשובות מדויקות בעניינים טכניים. בנוסף, אין בכרטיס שום פירוט על תמיכה בשפות שאינן אנגלית, ולכן ביצועים בעברית מוטלים בספק גדול. המיזוג נשען על מודלים קהילתיים ללא בקרות סינון מחמירות, מה שאומר שחובה לבדוק את התוכן שהוא פולט לפני שחושפים אותו למשתמשי קצה.

איך מריצים

המשקל המלא של הקבצים בפורמט bfloat16 מגיע ל־24.0 גיגה בייט ב־13 קבצים. כדי להריץ אותו בהגדרות המקוריות דרך transformers תצטרכו כרטיס גרפי עם מספיק זיכרון וידאו להחזיק את כל המשקל הזה, אחרת המערכת תיפול מיד על מחסור בזיכרון.

המפתח שחרר גם גרסאות GGUF מכווצות שמתאימות למי שרוצה להריץ מקומית על חומרה צנועה יותר או דרך מעבד רגיל. אם המטרה היא בדיקה מהירה של יכולות השיחה בלי להוריד עשרות גיגה בייטים של משקלים, שירותי הרצה חיצוניים יחסכו לכם זמן.

from transformers import pipeline

pipe = pipeline("text-generation", model="nakodanei/Blue-Orchid-2x7b")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 24.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00005.safetensors6.0 GB
• model-00003-of-00005.safetensors6.0 GB
• model-00004-of-00005.safetensors6.0 GB
• model-00001-of-00005.safetensors5.9 GB
• model-00005-of-00005.safetensors1.9 GB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• model.safetensors.index.json35.9 KB
• .gitattributes1.5 KB
• tokenizer_config.json968 B
• config.json767 B
• README.md680 B
• special_tokens_map.json436 B

הרישיון

הרישיון המדווח הוא apache-2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקוד והפצה מחדש, בתנאי ששומרים על הודעות זכויות היוצרים והרישיון המקורי. אפשר לשלב אותו במוצר מסחרי בלי לשלם תמלוגים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗