GPT
הוספת כלי
M

mixtral-7b-8expert

קוד פתוח

DiscoResearchapache-2.02023-12-08

  • transformers
  • pytorch
  • mistral
  • text-generation
  • custom_code

גרסה מוקדמת של מיקסטרל שהומרה לעבודה עם ספריות נפוצות. היא מיועדת למי שרוצה להריץ מודל תערובת מומחים גדול על תשתית עצמאית.

  • 32,768טוקנים בהקשר
  • 87.0 GBמשקל הקבצים
  • 609הורדות בחודש
  • 264לייקים

מה זה

מדובר באחת ההמרות הראשונות שנעשו למודל של מיסטרל אל איי עבור סביבת האגינג פייס. המבנה מבוסס על תערובת מומחים, שבה רשתות שונות מחלקות ביניהן את העבודה ומאפשרות חישוב יעיל ביחס לנפח הפרמטרים הכולל.

במדדי הביצועים שהוצגו, הוא מגיע לציון של 0.717 בבדיקת ידע כללי רחבה ולתוצאה של 0.866 במבחן הבנת הקשר. במבחן פתרון בעיות חשבוניות רב שלביות הוא מציג 0.57, תוצאה שמלמדת על יכולת הסקה סבירה אך לא מבריקה. המדדים מראים כלי חזק לעיבוד טקסט שוטף בחמש שפות אירופיות, שמספק בסיס טוב למשימות מגוונות כל עוד לא דורשים ממנו מתמטיקה מורכבת.

מתאים ל

  • עיבוד מסמכים ארוכים

    חלון הקשר של מעל שלושים אלף טוקנים מאפשר ניתוח של קבצים שלמים בלי לקטוע את הרצף.

  • תרגום שפות אירופיות

    הוא אומן על חמש שפות מרכזיות ויודע לנסח בהן טקסטים ברמה גבוהה.

  • סביבת מחקר מקומית

    מאפשר לחקור את ארכיטקטורת המומחים ישירות בתוך פייתון בלי תלות בשירות חיצוני.

איפה זה נופל

במבחן האמינות הוא קיבל ציון נמוך של פחות מחצי, מה שאומר שהוא ממציא עובדות בביטחון מלא. הוא אומן בעיקר על אנגלית, צרפתית, איטלקית, ספרדית וגרמנית, ולכן הוא לא מתאים לעיבוד עברית בלי אימון נוסף. הקוד המקורי דורש הרצה עיוורת של קבצים מרוחקים, מה שמחייב בדיקת אבטחה לפני שמכניסים אותו לתהליך עבודה רציני.

שאלות
נפוצות

האם אפשר להריץ אותו על מחשב נייד רגיל?

לא. הקבצים שוקלים שמונים ושבעה גיגה בייט ומחייבים שרת עם כרטיסי מסך חזקים וזיכרון ייעודי גדול מאוד.

למה צריך לאשר הרצת קוד מרוחק?

מכיוון שזו גרסה מוקדמת שיצאה לפני שהארכיטקטורה נתמכה באופן מובנה בספרייה, הקוד נטען ישירות מהמאגר של המפתח.

איך מריצים

טעינה של שמונים ושבעה גיגה בייט של משקולות דורשת שרת ייעודי כבד עם כרטיסי מסך שמציעים לפחות מאה גיגה של זיכרון גרפי מצרפי. קריאה באמצעות הקוד הרשמי מחייבת הוספה מפורשת של הדגל שמאפשר הרצת קוד מרוחק.

אם אין לכם שרת כזה זמין בענן, עלויות התשתית של החזקת החומרה הזו יעלו הרבה יותר מפנייה ישירה לממשק חיצוני שמגיש את המודל. הקמה עצמית שווה את המאמץ רק אם אתם חייבים פרטיות מלאה או שליטה מוחלטת בהגדרות הריצה.

from transformers import pipeline

pipe = pipeline("text-generation", model="DiscoResearch/mixtral-7b-8expert")
print(pipe("שלום"))

הקבצים

32 קבצים במאגר, 87.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

רישיון אפאצ'י שתיים מאפשר שימוש מסחרי מלא, שינוי של הקוד והפצה מחדש. אין דרישה לפתוח את הפיתוחים שלכם, ואתם יכולים לשלב אותו במוצר מסחרי כל עוד שומרים על הודעת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗