falcon-mamba-7b

מה זה

במקום המבנה הרגיל של רשתות טרנספורמר, המודל הזה משתמש בארכיטקטורת SSM טהורה עם 64 שכבות. הוא נוצר כדי לבצע חיזוי של הטוקן הבא באנגלית, ואומן על כחמש וחצי טריליון טוקנים שכללו טקסט רשת מסונן, קוד, מתמטיקה ונתונים טכניים.

במבחני ביצועים הוא עוקף מודלים דומים מבוססי SSM כמו mamba-7b-rw הישן יותר, ומציג תוצאות שמתחרות ישירות בדגמי טרנספורמר ותיקים בגודל הזה. בלוח המבחנים הראשון הוא הגיע לציון ממוצע של 64.09, קרוב מאוד לביצועים של Falcon2-11B ושל משפחת Llama 3 בגודל שמונה מיליארד פרמטרים.

מתאים ל

• אימון בסיס להוראות באנגלית

  מתאים לכוונון נוסף של שיחה או משימות ספציפיות, בזכות בסיס טקסטואלי חזק של 7.3 מיליארד פרמטרים.

• מחקר ארכיטקטורות SSM

  מאפשר לבחון התנהגות של מודל Mamba טהור בקנה מידה גדול מול ארכיטקטורות טרנספורמר מוכרות.

• עיבוד רצפים ארוכים

  מתאים לתרחישים שדורשים יצירת טקסט ללא המגבלות החישוביות הרגילות של מנגנון תשומת לב מלא.

איפה זה נופל

המודל אומן בעיקר על אנגלית ולא כולל תמיכה מובנית בשפות אחרות, כך שלעברית הוא לא מיועד. בנוסף, מדובר במודל בסיס לחיזוי טקסט שלא עבר כוונון להוראות או לצ'אט, ולכן הוא לא יודע לענות לשאלות כעוזר בלי שתאמנו אותו קודם. במבחנים קשים כמו מתמטיקה ברמה גבוהה התוצאות נשארות נמוכות מאוד, עם 3.63 נקודות בלבד בבדיקת MATH.

אותה משפחה

falcon-mamba יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים עומד על 13.5 גיגה בייט בפורמט bfloat16. כדי להריץ אותו בצורה מקומית צריך מעבד גרפי עם לפחות 16 עד 24 גיגה בייט של זיכרון וידאו, או לחלופין לבצע קוונטיזציה לארבע ביט בעזרת bitsandbytes כדי להסתפק בחומרה צנועה יותר.

אפשר להריץ אותו ישירות דרך ספריית transformers הרגילה, אבל כדי לקבל ביצועים סבירים צריך להתקין קרנלים ייעודיים של causal-conv1d ושל mamba-ssm. אם אין ברשותכם כרטיס גרפי תואם שמאפשר הידור עם torch.compile, עדיף להריץ אותו דרך שרת ייעודי בענן.

from transformers import pipeline

pipe = pipeline("text-generation", model="tiiuae/falcon-mamba-7b")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 13.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00003.safetensors5.0 GB
• model-00001-of-00003.safetensors5.0 GB
• model-00003-of-00003.safetensors4.6 GB
• tokenizer.json2.7 MB
• mamba-paper.png233.3 KB
• model.safetensors.index.json50.9 KB
• README.md16.5 KB
• tokenizer_config.json2.6 KB
• .gitattributes1.5 KB
• config.json822 B
• special_tokens_map.json395 B
• generation_config.json139 B

הרישיון

הוא מופץ תחת רישיון ייעודי שנקרא TII Falcon-Mamba License 2.0. זה לא רישיון קוד פתוח סטנדרטי כמו Apache או MIT, ולכן צריך לקרוא את התנאים המשפטיים המדויקים שלו לפני שמשלבים אותו במוצר מסחרי.

הרישיון המלא בעמוד המודל ↗