GPT
הוספת כלי
X

xLAM-8x22b-r

קוד פתוח

Salesforcecc-by-nc-4.02024-08-28

  • transformers
  • safetensors
  • mixtral
  • text-generation
  • function-calling

גרסה ענקית של מודל מומחים שמיועדת להפעלת כלים וקריאות לפונקציות. הוא מתאים למי שחוקר סוכני אוטונומיה מורכבים וצריך תמיכה בחלונות הקשר רחבים של עשרות אלפי טוקנים.

  • 141Bפרמטרים
  • 65,536טוקנים בהקשר
  • 262 GBמשקל הקבצים
  • 17,594הורדות בחודש

מה זה

מדובר במודל מבוסס תערובת מומחים של מאה וארבעים ואחד מיליארד פרמטרים, שמתמקד בתרגום כוונות משתמש לפעולות וקריאות ממשק. הוא פועל במבנה שפולט מחשבה ולאחריה מערך פקודות במבנה נתונים מוגדר, ומסוגל לעבד היסטוריית שיחה מרובת שלבים לצורך תכנון משימות.

במבחני ביצועים לסוכנים כמו וובשופ וטולקוורי הוא נבדק לצד דגמים קטנים יותר במשפחה על דיוק בהפעלת ממשקים, אך תוצאותיו במבחן טולבנץ אינן זמינות בגלל נפילת השרת בזמן הבדיקות. ההבדל המרכזי מול מודלים כלליים באותו סדר גודל הוא כוונון ישיר לסביבות עבודה ואוטומציה במקום יצירת טקסט חופשי.

מתאים ל

  • מחקר סוכני תוכנה

    הוא מאפשר לבחון פירוק פקודות מורכבות למבנה נתונים מוגדר במחקרים אקדמיים.

  • קריאות לפונקציות ברצף

    הארכיטקטורה שלו מיועדת לעבד היסטוריית ממשקים ולתכנן תגובות מרובות שלבים.

  • ניתוח הקשרים ארוכים

    חלון הקשר של שישים וארבעה אלף טוקנים מאפשר להזין תיעוד ממשק עמוס בשיחה.

איפה זה נופל

המודל מיועד אך ורק לצורכי מחקר ומפתחיו מציינים במפורש שהוא לא תוכנן או נבדק לכל שימוש במורד הזרם. הוא אומן לפעול עם תבנית הנחיה קשיחה מאוד לחילוץ נתונים, וסטייה ממנה פוגעת בתוצאות. בנוסף, חסרות לו בדיקות השוואה מלאות מול מבחן טולבנץ בגלל תקלות שרת, והוא מוגדר לשפה האנגלית בלבד, כך שאין שום מידע על היכולת שלו להבין ממשקים או טקסט בעברית.

שאלות
נפוצות

האם אפשר להשתמש במודל הזה באפליקציה מסחרית?

לא. הרישיון הוא לשימוש לא מסחרי בלבד ומיועד למחקר. יוצריו אף מציינים שגרסה משופרת תהיה זמינה בהמשך רק למשתמשי הפלטפורמה שלהם.

האם קיימת גרסה קלה להרצה על מחשב ביתי?

עבור הגודל הזה אין קבצים מכווצים בפורמט ג'י ג'י יו אף. מי שמחפש הרצה מקומית על חומרה צנועה צריך להשתמש בגרסאות הקטנות יותר של הסדרה שכוללות קבצים כאלה.

איך מריצים

כדי להריץ אותו צריך להתמודד עם קבצים בנפח מאתיים שישים ושניים גיגהבייט בדיוק של שש עשרה ביט. זה דורש שרת ייעודי מרובה מעבדים גרפיים חזקים, זיכרון וידאו עצום, והתקנה של ספריית טרנספורמרס בגרסה ארבע נקודה ארבעים ואחת נקודה אפס ומעלה יחד עם פייטארץ.

בניגוד לגרסאות הקטנות יותר במשפחה שמגיעות גם כקבצים מכווצים בפורמט ג'י ג'י יו אף למחשב מקומי, כאן אין קבצים כאלה. אם אין לכם חוות שרתים עצמאית לצורכי מחקר, עדיף להשתמש בגרסאות הקטנות או בממשקי שירות מרוחקים.

from transformers import pipeline

pipe = pipeline("text-generation", model="Salesforce/xLAM-8x22b-r")
print(pipe("שלום"))

הקבצים

74 קבצים במאגר, 262 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא סי סי בי וואי אן סי ארבע נקודה אפס. מותר להשתמש בו, לשנות אותו ולחקור אותו, אך נאסר לחלוטין כל שימוש מסחרי מכל סוג שהוא. מי שבונה מוצר כדי למכור אותו או להפעיל שירות בתשלום לא יכול להשתמש במודל הזה.

  • שינוי הקוד
  • חובת ייחוס
  • שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗