GPT
הוספת כלי
M

v2ray/Mixtral-8x22B-v0.1

קוד פתוח

v2rayapache-2.02024-04-10

  • transformers
  • safetensors
  • mixtral
  • text-generation
  • moe

גרסת בסיס ענקית בארכיטקטורת מומחים עם 141 מיליארד פרמטרים. היא מיועדת למי שצריך תשתית כבדה לביצוע אימון המשך או התאמה אישית של ממש.

  • 141Bפרמטרים
  • 65,536טוקנים בהקשר
  • 262 GBמשקל הקבצים
  • 70הורדות בחודש

מה זה

מדובר במודל בסיס שנוצר בפורמט מומחים דליל עם 56 שכבות. v2ray המיר את המשקולות המקוריות ישירות לפורמט של ספריית transformers כדי שיהיה אפשר לעבוד איתו בכלים המוכרים, עוד לפני שההפצה הרשמית של היוצרים סודרה. הוא תומך בהקשר של 65,536 טוקנים ומכוון בעיקר לחמש שפות אירופיות: אנגלית, צרפתית, גרמנית, איטלקית וספרדית.

בניגוד למודלים צפופים רגילים, הארכיטקטורה הזו מפעילה רק חלק מהפרמטרים בכל שלב, מה שמאפשר חישוב מהיר יותר ביחס לגודל הכולל. עם זאת, הוא דורש טעינה מלאה של כל 141 מיליארד הפרמטרים לזיכרון. אין פה מבחני ביצועים בכרטיס המודל, והמשמעות היא שאתם מקבלים חומר גלם נקי לחלוטין שמיועד בעיקר למחקר, להמשך אימון, או לפיתוח התאמות מקומיות משלכם.

מתאים ל

  • אימון מודל הוראות פנימי

    נקודת מוצא פתוחה וחזקה בגודל 141 מיליארד פרמטרים, שמתאימה למי שרוצה לבצע כוונון עדין על דאטה ייעודי משלו.

  • עיבוד מסמכים אירופיים ארוכים

    חלון הקשר של 65,536 טוקנים מאפשר לנתח קבצים שלמים באנגלית, צרפתית, גרמנית, ספרדית או איטלקית.

  • מחקר על מודלי מומחים

    ארכיטקטורה דלילה ופתוחה עם 56 שכבות שמאפשרת לחקור ניתוב מומחים והתנהגות מודלים רחבים ללא מגבלות קוד סגור.

איפה זה נופל

זהו מודל בסיס מוקדם ולא מודל שיחה, ולכן הוא לא יודע לענות לשאלות כעוזר אישי. אם תשאלו אותו משהו, הוא פשוט ינסה להשלים את הטקסט הבא ולא לנהל דיאלוג. כרטיס המודל מזהיר במפורש שאין בו שום מנגנוני סינון, פיקוח או מיתון תוכן. בנוסף, עברית בכלל לא מופיעה ברשימת השפות הנתמכות שלו, כך שאי אפשר להסתמך עליו למשימות בעברית בלי לבדוק לעומק אם הוא מייצר פלטים שבורים.

שאלות
נפוצות

האם כדאי להוריד את המשקולות מהריפו הזה של v2ray?

עדיף שלא. כפי שכתוב בכרטיס עצמו, הריפו הזה נוצר כהמרה ראשונית, ומאז Hugging Face והצוות הרשמי של Mistral AI פתחו מאגרים רשמיים משלהם. למעט צורך היסטורי ספציפי, עדיף למשוך את הקבצים ישירות מהמאגרים הרשמיים.

האם המודל מתאים לצ'אט או לתמיכת לקוחות ישר מהקופסה?

ממש לא. מדובר בגרסת בסיס ללא כוונון להוראות ובלי מנגנוני בטיחות בכלל. אם תכניסו אותו למוצר בלי לעשות לו אימון התאמה או בלי להשתמש בגרסת ה־Instruct, הוא ייצר המשכי טקסט אקראיים ולא יתפקד כעוזר.

איך מריצים

להריץ מפלצת של 262 ג'יגה בייט על שרת מקומי זו משימה יקרה. כדי לטעון אותו בדיוק המקורי של bfloat16 תצטרכו שרת עם כמה כרטיסי מסך חזקים במיוחד, בסדר גודל של 300 ג'יגה בייט זיכרון גרפי פנוי לפחות. אפשר להשתמש בקוונטיזציה ל־4 ביט או 8 ביט דרך bitsandbytes כדי לכווץ את הדרישות, יחד עם שילוב של Flash Attention 2 להאצת הריצה.

אם אתם לא בונים תשתית עצמאית לגמרי ומחזיקים אשכול כרטיסים ייעודי, אין שום סיבה הגיונית להחזיק שרת כזה פועל. במקום לשלם אלפי דולרים בחודש על חומרה ענקית רק בשביל כמה שאילתות, עדיף בהרבה לפנות ל־API חיצוני שמארח את המודל וגובה תשלום רק על פי שימוש.

from transformers import pipeline

pipe = pipeline("text-generation", model="v2ray/Mixtral-8x22B-v0.1")
print(pipe("שלום"))

הקבצים

70 קבצים במאגר, 262 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד והמשקולות מופצים תחת רישיון apache-2.0. זהו רישיון קוד פתוח מתירני מאוד שמאפשר שימוש מסחרי חופשי, שינוי של המשקולות והפצה שלהן במוצרים שלכם, כל עוד אתם שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗