DiscoLM-mixtral-8x7b-v2

מה זה

המודל מבוסס על הארכיטקטורה של מיקסטרל שפותחה במיסטרל, ועבר כוונון עדין על ידי דיסקורסרץ' באמצעות המאגרים סינת'יה, מטא־מאס וקפיברה. המטרה כאן הייתה להמיר במהירות את המשקולות לפורמט של האגינג פייס כדי לאפשר הרצה ישירה בספריית טרנספורמרס, ממש בימים הראשונים שבהם הארכיטקטורה הזו צצה ברשת.

במדדי ההערכה התוצאות מראות תמונה מפוצלת. במבחני כתיבה, מדעי הרוח ומדעים מדויקים בבנצ'מרק אמ־טי הוא מגיע לציונים שנעים סביב תשע מתוך עשר, וגם במבחני הבנה כלליים כמו הלסוואג עם 86.25 ואמ־אמ־אל־יו עם 70.72 הוא מחזיק מעמד יפה. מצד שני, במבחני חשיבה מורכבים וקוד הוא מדשדש, ובמבחן המתמטי ג'י־אס־אם קי היוצרים עצמם קיבלו תוצאה נמוכה של 25.09 ולא ידעו להסביר למה.

מתאים ל

• מחקר על מודלי מומחים

  מאפשר לבחון התנהגות מודל שמונה על שבע מוקדם על חומרה מקומית.

• יצירת טקסט באנגלית

  קיבל ציון של מעל תשע במבחני כתיבה ומדעי הרוח.

• בדיקת תבניות צ'אט

  מתאים לבחינת אינטגרציה עם פורמט צ'אט־אם־אל בספריית טרנספורמרס.

איפה זה נופל

זה מודל אלפא ניסיוני מאוד, ואין בו שום תמיכה בעברית לפי המפרט שהוגדר לאנגלית בלבד. הביצועים שלו בתכנות חלשים מאוד, עם ציון של 4.45 בלבד במבחן הרלוונטי, וציון הנימוק עומד על 5.7. היוצרים מודים בגלוי בתוצאות מוזרות ולא מוסברות בחלק ממבחני המתמטיקה, והקוד דורש הרצה במצב לא מוגן. אסור לשלב אותו במערכת מבצעית בלי בדיקות קפדניות של הפלטים.

איך מריצים

כדי להריץ אותו מקומית צריך לפחות שני כרטיסי מסך חזקים של 80 גיגה או מערך מקביל, כי המשקולות עצמן שוקלות 87 גיגה בפורמט פלואוט16. אם אין לכם שרת ייעודי עם זיכרון וידאו של קרוב למאה גיגה, אין מה לנסות להעלות אותו בלי קוונטיזציה.

קוד ההרצה מחייב להגדיר הרצת קוד מרוחק כדי לטעון את הארכיטקטורה, והתבנית של השיחה בנויה על צ'אט־אם־אל. אם המטרה היא סביבת ייצור ולא ניסוי מחקרי על המשקולות, עדיף בהרבה לפנות ל־API מסחרי שמגיש מודלי מיקסטרל מאשר לתחזק שרת יקר בשביל גרסת אלפא ראשונית.

from transformers import pipeline

pipe = pipeline("text-generation", model="DiscoResearch/DiscoLM-mixtral-8x7b-v2")
print(pipe("שלום"))

הקבצים

29 קבצים במאגר, 87.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00009-of-00019.safetensors5.0 GB
• model-00013-of-00019.safetensors5.0 GB
• model-00016-of-00019.safetensors5.0 GB
• model-00008-of-00019.safetensors5.0 GB
• model-00011-of-00019.safetensors5.0 GB
• model-00012-of-00019.safetensors5.0 GB
• model-00015-of-00019.safetensors5.0 GB
• model-00018-of-00019.safetensors5.0 GB
• model-00006-of-00019.safetensors5.0 GB
• model-00002-of-00019.safetensors5.0 GB
• model-00003-of-00019.safetensors5.0 GB
• model-00005-of-00019.safetensors5.0 GB
• model-00007-of-00019.safetensors4.9 GB
• model-00010-of-00019.safetensors4.9 GB
• model-00014-of-00019.safetensors4.9 GB
• model-00017-of-00019.safetensors4.9 GB
• model-00004-of-00019.safetensors4.9 GB
• model-00001-of-00019.safetensors4.9 GB
• model-00019-of-00019.safetensors4.2 GB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• model.safetensors.index.json82.3 KB
• README.md7.4 KB
• tokenizer_config.json1.7 KB
• .gitattributes1.5 KB
• config.json899 B
• special_tokens_map.json557 B
• generation_config.json116 B
• added_tokens.json51 B

הרישיון

הרישיון הוא אפאצ'י שתיים אפס, שמתיר שימוש מסחרי, שינוי והפצה בלי תמלוגים. עם זאת, יוצרי המודל הוסיפו הבהרה בעמוד שהכלי מיועד למטרות מחקר בלבד, כך שמי שרוצה להטמיע אותו במוצר מסחרי צריך לקחת בחשבון את הפער בין תנאי הרישיון הפתוח לבין כוונת המפרסם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗