GPT
הוספת כלי
M

MixTAO-7Bx2-MoE-v8.1

קוד פתוח

mixtaoapache-2.02024-02-26

  • transformers
  • safetensors
  • mixtral
  • text-generation
  • moe

שני מודלים של שבעה מיליארד פרמטרים שחוברו יחד בארכיטקטורת מומחים. ניסוי מעניין למי שמחפש ביצועים של מודל בינוני עם צריכת משאבים מופחתת בכל טוקן.

  • 13Bפרמטרים
  • 32,768טוקנים בהקשר
  • 24.0 GBמשקל הקבצים
  • 17,135הורדות בחודש

מה זה

מיזוג של שני מודלים בארכיטקטורת Mixtral יוצר כאן גודל כולל של כמעט 13 מיליארד פרמטרים, אבל בזמן ריצה רק חלק מהרשת מופעל עבור כל טוקן. המטרה המוצהרת של היוצר היא ניסוי טכנולוגי בבניית מודלים גדולים, ולא מוצר מדף מלוטש. הוא משתמש בתבנית ההוראות המוכרת של אלפקה ונותן חלון הקשר נדיב של 32 אלף טוקנים.

במבחני הביצועים של הלוח הפתוח הוא מציג ממוצע של 77.50, עם ציון גבוה במיוחד של 78.57 בבדיקת אמיתות ועובדות, ומעל 71 במתמטיקה של בית ספר יסודי. ידע כללי נשאר נקודת תורפה יחסית עם פחות משישים וחמישה אחוזים במבחן הידע הרחב, כך שלא מומלץ להסתמך עליו כמקור אנציקלופדי.

מתאים ל

  • ניסויי שילוב מומחים

    בדיקת ההתנהגות של שילוב שני מודלים בגודל קומפקטי יחסית.

  • פתרון בעיות היגיון

    ציונים גבוהים יחסית במבחני היגיון כמו הלסוואג ווינוגרנד.

  • עיבוד טקסטים ארוכים

    חלון הקשר של 32 אלף טוקנים מאפשר להזין מסמכים מלאים לניתוח.

איפה זה נופל

היוצר עצמו מבהיר שמדובר בניסוי בטכנולוגיית מודלים ולא בגרסה סופית. אין שום מידע על נתוני האימון, מה שאומר שאין מושג אם המודל מבין עברית בכלל, וכנראה שהוא לא עבר שום התאמה לשפה שלנו. בנוסף, חוסר היציבות של מיזוגים כאלה מחייב בדיקה יסודית של התשובות לפני שמחברים אותו לכל תהליך אוטומטי.

שאלות
נפוצות

האם המודל תומך בעברית?

אין שום אזכור לאימון על עברית בכרטיס המודל. סביר להניח שהוא יודע לפלוט מילים בסיסיות מעצם השימוש במודלי בסיס רחבים, אבל בלי כוונון ייעודי הוא יתקשה מאוד בניסוח ובהבנה עמוקה של עברית.

כמה זיכרון מחשב צריך בשביל להריץ אותו?

במשקל המלא שלו נדרש כרטיס עם 32 ג'יגה זיכרון גרפי. אם מורידים את קובץ ה־GGUF המכווץ שפורסם, אפשר להריץ אותו גם על מחשב אישי חזק עם 12 עד 16 ג'יגה זיכרון.

איך מריצים

במשקל מלא של 24 ג'יגה בייט בדיוק המקורי, תצטרכו כרטיס גרפי עם לפחות 32 ג'יגה זיכרון כדי להריץ אותו בנוחות ולנצל את חלון ההקשר. אם אין לכם חומרה כזו, היוצר שחרר גרסת קוונטיזציה מוקטנת להורדה וגם מחברת קולאב מוכנה שמאפשרת לבדוק אותו בלי להתקין שום דבר מקומית.

אם אתם לא צריכים פרטיות מוחלטת או הרצה על שרת פנימי, שירותי ענן שמציעים מודלי מקור מתקדמים יותר יתנו מענה יציב ומהיר יותר בלי עלויות החומרה והתחזוקה.

from transformers import pipeline

pipe = pipeline("text-generation", model="mixtao/MixTAO-7Bx2-MoE-v8.1")
print(pipe("שלום"))

הקבצים

21 קבצים במאגר, 24.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון אפאצ'י 2.0 המוכר. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו מחדש או לשלב אותו בקוד סגור, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗