MegaBeam-Mistral-7B-512k

מה זה

הבסיס כאן הוא Mistral 7B Instruct v0.2 שעבר אימון ייעודי להרחבת חלון ההקשר לגודל של 524,288 טוקנים. הרעיון הוא לתת מענה למשימות ארוכות בלי לשלם על מודלי ענק של עשרות מיליארדי פרמטרים.

בבדיקת Needle In A Haystack הוא הוציא ציון מושלם של מאה אחוזים בשליפת נתונים בודדים מתוך הטקסט. במבחן RULER הוא שמר על ממוצע של 88.7 נקודות, והצליח להחזיק ביצועים יציבים של מעל 82 נקודות גם באורך של 128 אלף טוקנים, איפה שמיסטרל המקורי כבר צנח לאזור ה־13 נקודות.

מתאים ל

• ניתוח מאגרי קוד שלמים

  טעינת עשרות קבצים מתוך מאגר גיט בבת אחת כדי להבין תלויות ולעזור בקליטת מפתחים.

• שליפת מידע ממסמכים ענקיים

  איתור פרטים ספציפיים מתוך טקסטים ארוכים במיוחד, משימה שבה הוא הגיע לדיוק מלא במבחני השליפה.

• מענה על שאלות מתוך תמלילים

  הפקת תשובות מקבצי טקסט ארוכים בלי צורך לחלק אותם למקטעים קטנים במערכות חיפוש חיצוניות.

איפה זה נופל

היכולת לאחזר נתון בודד לא הופכת אותו לגאון. במבחן InfiniteBench הוא קיבל 0 אחוז במשימת Math.Calc ורק 2 אחוזים ב־Code.Run, מה שאומר שהוא לא מסוגל לעקוב אחרי חישובים או הרצת קוד מורכבת מתוך הטקסט. באגרגציה מסוג cwe הוא צונח מ־98.2 נקודות ב־4k ל־0.94 בלבד ב־128k. יוצרי המודל לא מפרטים על אילו נתונים הוא אומן או באילו שפות הוא שולט מעבר לאנגלית ולסינית שנבדקו במבחנים, ומציינים רק שחובה לבצע הערכת איכות ועמידה ברגולציה באופן עצמאי.

איך מריצים

כדי להריץ אותו בהקשר המלא צריך חומרה רצינית מאוד בגלל זיכרון ה־KV Cache. הדוגמה הרשמית דורשת שרת עם שמונה מאיצים, כמו שרת p4d.24xlarge, ומריצה עליו שרת vLLM עם tensor-parallel-size 8. אם מגבילים את האורך ל־288,800 טוקנים, אפשר להסתפק במכונת g5.48xlarge עם שמונה כרטיסי A10G.

אפשר להרים אותו גם כנקודת קצה ב־SageMaker עם DJL. אם אין לכם גישה לאשכול שרתים כזה עם שמונה כרטיסים גרפיים פנויים, זול ופשוט יותר לפנות ל־API מסחרי של מודל ענן במקום להחזיק תשתית כבדה.

from transformers import pipeline

pipe = pipeline("text-generation", model="aws-prototyping/MegaBeam-Mistral-7B-512k")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 13.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00003.safetensors5.0 GB
• model-00001-of-00003.safetensors4.9 GB
• model-00003-of-00003.safetensors4.5 GB
• megabeam_git_demo.gif4.1 MB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• niah_megabeam-mistral-7b-512k.png94.1 KB
• model.safetensors.index.json23.9 KB
• README.md16.3 KB
• tokenizer_config.json2.1 KB
• .gitattributes1.5 KB
• config.json680 B
• generation_config.json111 B
• special_tokens_map.json72 B

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את המשקלים, להפיץ אותם מחדש ולשלב אותם במוצרים סגורים. התנאים היחידים הם שמירה על הודעת זכויות היוצרים והצהרת הרישיון המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗