bitnet-b1.58-2B-4T-bf16
קוד פתוחmicrosoftmit2025-04-15
microsoft עומדים גם מאחורי Sho, ויש עליו סקירה כאן.
משקלי בסיס בפורמט מלא לארכיטקטורה של ביט בודד, שמאומנת מראש לחסוך זיכרון וכוח חישוב. מורידים אותם כדי לאמן או להתאים אישית את המודל, ולא כדי להריץ בשרת.
- 2.4Bפרמטרים
- 4,096טוקנים בהקשר
- 4.5 GBמשקל הקבצים
- 5,491הורדות בחודש
מה זה
מיקרוסופט אימנה כאן מודל של 2.4 מיליארד פרמטרים על ארבעה טריליון טוקנים, עם שכבות לינאריות ייעודיות שדוחסות משקלים לשלושה ערכים בלבד. להבדיל ממודלים רגילים שעוברים כיווץ אחרי האימון ומאבדים דיוק, הארכיטקטורה הזו נבנתה ככה מההתחלה.
במבחני ביצועים הוא עומד יפה מול מתחרים באותו סדר גודל, עם ממוצע של 54.19 מול 55.23 של קוון 1.5B, ובמשימות ידע כללי ומתמטיקה כמו ARC-Challenge ו־GSM8K הוא אפילו עוקף אותם. עם זאת, במבחני קוד כמו HumanEval פלוס הוא נעצר ב־38.40 נקודות, נמוך בהרבה מחלק מהמתחרים, כך שזה לא פתרון לכל תרחיש.
מתאים ל
- אימון ופיין טיונינג
משקלי המקור נשמרים בדיוק מלא ומאפשרים לבצע כיול מדויק לדאטה שלכם לפני מעבר לייצור.
- מחקר בארכיטקטורות קוונטיזציה
מאפשר לבדוק שיטות אימון חדשות על מודל שעבר אופטימיזציה לערכים בינאריים מאפס.
- פתרון בעיות חשיבה באנגלית
מציג תוצאות חזקות במבחני היגיון ומתמטיקה קלה על פני מודלים בגודל דומה.
איפה זה נופל
חלון ההקשר מוגבל ל־4,096 טוקנים בלבד, מה שמקשה על ניתוח מסמכים ארוכים ללא אימון התאמה נוסף. בנוסף, המודל אומן באנגלית בלבד ואין בו שום תמיכה רשמית בעברית. הכרטיס גם מזהיר מפורשות שתוצאות עשויות להיות מוטות או שגויות, ולמרות שלבי היישור שעבר, הוא מוגדר רשמית למטרות מחקר ופיתוח.
אותה משפחה
bitnet-b1.58-2B-4T יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
אפשר להריץ את המשקלים האלה ישירות בספריית transformers?
אפשר טכנית, אבל אין בזה שום היגיון. הספרייה לא כוללת את הקרנלים הדרושים לחסכון במשאבים, והביצועים יהיו זהים או גרועים יותר ממודל רגיל. בשביל הרצה משתמשים בגרסת bitnet.cpp.
האם המודל מתאים לשימוש בעברית?
לא. המודל אומן על טקסטים וקוד באנגלית בלבד. אם תזינו לו עברית, הוא כנראה ייצר פלט שבור או חסר משמעות ללא אימון מקדים נוסף.
איך מריצים
המשקלים הספציפיים האלה תופסים 4.5 גיגהבייט ומיועדים אך ורק לפיין טיונינג. אם אתם רוצים להריץ אותם בייצור, אתם במקום הלא נכון, בשביל זה מורידים את גרסת ה־1.58 ביט הארוזה או גרסת GGUF דרך bitnet.cpp.
ספריית טרנספורמרס הרגילה לא כוללת את הקרנלים המתאימים, כך שהרצה דרכה תהיה אטית וחסרת תועלת. כדי להרוויח את זמני התגובה של 29 מילישניות וצריכת זיכרון של 0.4 גיגהבייט במעבד, חייבים לקמפל את המימוש הייעודי ב־C פלוס פלוס, או פשוט לשלם על API חיצוני אם אין לכם עניין להתעסק עם תשתיות מקומיות.
from transformers import pipeline
pipe = pipeline("text-generation", model="microsoft/bitnet-b1.58-2B-4T-bf16")
print(pipe("שלום"))הקבצים
10 קבצים במאגר, 4.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
רישיון MIT פתוח ומתירני לחלוטין. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד והמשקלים, ולאמן עליו מודלים פרטיים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש