bitnet-b1.58-2B-4T

מה זה

מיקרוסופט אימנה כאן מודל מאפס עם ערכים טרנאריים של 1-, 0 ו־1+, במקום לקחת מודל קיים ולכווץ אותו אחרי האימון. הוא עבר אימון על ארבעה טריליון טוקנים, כולל קוד וטקסט סינתטי במתמטיקה, יחד עם שלבי יישור בהוראות והעדפות אנושיות. המשקל הכולל של הקבצים עומד על 1.1 גיגה בייט בלבד.

במבחני ביצועים מול מודלים רגילים במשקל דומה, הוא עומד יפה בתחרות. בבדיקות חשיבה כמו ARC ופתרון בעיות חשבון ב־GSM8K עם ציון 58.38 הוא אפילו עוקף מתחרים כמו Qwen2.5 1.5B ו־SmolLM2. ההבדל הגדול באמת הוא לא רק הדיוק, אלא צריכת המשאבים. במבחני ריצה על מעבד, הוא דרש 0.4 גיגה בייט זיכרון לעומת גיגה וחצי עד כמעט חמישה גיגה במודלים מקבילים, עם שבריר מצריכת האנרגיה וזמן תגובה של 29 מילישניות.

מתאים ל

• עוזר חכם במכשירי קצה

  הוא צורך 0.028 ג'אול ופחות מחצי גיגה זיכרון, מה שמתאים לחומרה חלשה בלי כרטיס מסך ייעודי.

• פתרון בעיות מתמטיקה

  התוצאות שלו ב־GSM8K ובמבחני היגיון עוקפות את רוב המודלים בגודל שלו, כל עוד השאלה באנגלית.

• מערכות עם סוללה מוגבלת

  צריכת האנרגיה הנמוכה ב־bitnet.cpp מאפשרת להריץ לוגיקה מקומית על רחפנים או מכשירי IoT.

איפה זה נופל

התמיכה בעברית ובכל שפה שאינה אנגלית מוגבלת מאוד לפי התיעוד הרשמי, כך שאי אפשר לבנות עליו לטקסט מקומי בלי אימון נוסף. חלון ההקשר שלו נעצר ב־4,096 טוקנים, מה שפוסל אותו מניתוח מסמכים ארוכים. היוצרים מציינים שיעור שגיאות גבוה ספציפית בשאלות סביב בחירות, וממליצים במפורש לא להכניס אותו למוצרים מסחריים בלי בדיקות מעמיקות כי מדובר בעיקר בכלי מחקר.

אותה משפחה

bitnet-b1.58-2B-4T יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

טעינה רגילה דרך ספריית transformers תעבוד, אבל תפספס את כל הפואנטה. המפתחים מבהירים שאין בה קרנלים מותאמים לארכיטקטורה הזו, ולכן המהירות וצריכת החשמל שם יהיו דומות או גרועות יותר ממודל רגיל, גם על מעבד וגם על כרטיס מסך. כדי לקבל את הביצועים המובטחים חייבים להריץ אותו דרך ספריית bitnet.cpp היעודית ב־C++ או להשתמש בגרסת GGUF שפורסמה בנפרד.

מבחינת חומרה, המודל רץ ישירות על מעבדים פשוטים כמעט בלי לתפוס זיכרון עבודה. אם אתם מחפשים רק לבדוק תגובות של מודל גדול ומורכב עם חלון הקשר עצום בלי להתעסק בקימפול קבצי C++, עדיף לשלם לפי טוקן ל־API חיצוני.

from transformers import pipeline

pipe = pipeline("text-generation", model="microsoft/bitnet-b1.58-2B-4T")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 1.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors1.2 GB
• tokenizer.json9.1 MB
• tokenizer_config.json50.8 KB
• README.md9.6 KB
• data_summary_card.md3.9 KB
• .gitattributes1.5 KB
• LICENSE1.1 KB
• config.json844 B
• generation_config.json199 B
• special_tokens_map.json73 B

הרישיון

הרישיון הוא MIT, מה שאומר שמותר להשתמש בו לכל מטרה, כולל מוצרים מסחריים, שינוי קוד והפצה מחדש, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗