bitnet_b1_58-large

מה זה

מדובר במימוש עצמאי של המאמר על BitNet b1.58, שאומן מאפס על מאגר RedPajama בהיקף של 100 מיליארד טוקנים. המודל בנוי על ארכיטקטורת BitnetForCausalLM עם 24 שכבות, ומייצר טקסט על בסיס משקולות שעברו קוונטיזציה קיצונית לרמת ביט בודד וחצי, תוך ניסיון לשמור על יכולות חיזוי סבירות.

במבחני הביצועים וה־Perplexity, השחזור הזה מגיע לציון ממוצע של 44.5 במבחני zero-shot שונים, תוצאה כמעט זהה למספרים המקוריים שפורסמו במאמר (44.3). עם זאת, בהשוואה למודל FP16 רגיל באותו סדר גודל שמגיע ל־45.5, עדיין יש ירידה קלה בדיוק לטובת החיסכון החישובי.

מתאים ל

• מחקר של מודלים מכווצים

  בדיקת ההתנהגות של ארכיטקטורת 1.58 ביט על חומרה סטנדרטית והשוואת ביצועים מול המאמר המקורי.

• ניסויי קוונטיזציה מקומיים

  בחינת יכולות הסקת מסקנות במערכות משובצות עם משאבי זיכרון מוגבלים מאוד.

• השלמת טקסט בסיסית באנגלית

  משימות ייצור טקסט קצרות ופשוטות באנגלית שאינן דורשות ידע עולם רחב.

איפה זה נופל

החיסרון המרכזי הוא שמדובר במודל זעיר שאומן על 100 מיליארד טוקנים בלבד, נפח נמוך מאוד בסטנדרטים הנוכחיים שמגביל מאוד את הידע הכללי שלו. חלון ההקשר עומד על 2,048 טוקנים בלבד, מה שחוסם עיבוד של מסמכים ארוכים או שיחות מורכבות.

בנוסף, הכרטיס מציג רק מדדי דיוק כלליים באנגלית, בלי שום מידע על יכולות בעברית או תמיכה בריבוי שפות. הקבצים עצמם נשמרים בפורמט float16, כך שכדי להרוויח את יתרונות המהירות האמיתיים של ביט בודד נדרשת תשתית הרצה מתאימה.

איך מריצים

המודל נתמך ישירות בספריית transformers באמצעות הארכיטקטורה הייעודית שלו, והמשקלים שמורים כרגע בדיוק float16 בנפח של 2.7 גיגה-בייט שמחולקים ל־17 קבצים. כדי לבדוק אותו מקומית צריך רק כרטיס מסך בסיסי או מעבד מודרני עם זיכרון פנוי זעיר, וההערכה שלו מתבצעת בעזרת חבילת lm-eval בגרסה 0.3.0.

אם אתם מחפשים ביצועים לשפת יומיום במוצר אמיתי, אין טעם להריץ אותו עצמאית. מודלים מסחריים דרך API יספקו תוצאות מדויקות פי כמה בעלויות אפסיות ביחס למודל קטן כל כך.

from transformers import pipeline

pipe = pipeline("text-generation", model="1bitLLM/bitnet_b1_58-large")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 2.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors2.9 GB
• tokenizer.json1.8 MB
• tokenizer.model499.7 KB
• modeling_bitnet.py64.0 KB
• tokenization_bitnet.py22.5 KB
• configuration_bitnet.py9.6 KB
• eval_utils.py4.3 KB
• README.md2.2 KB
• eval_ppl.py2.2 KB
• eval_task.py1.9 KB
• .gitattributes1.5 KB
• tokenizer_config.json1.4 KB
• utils_quant.py1.3 KB
• config.json749 B
• special_tokens_map.json604 B
• generation_config.json132 B
• added_tokens.json41 B

הרישיון

המודל משוחרר ברישיון MIT, שזה רישיון מתירני לחלוטין. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים סגורים בלי תשלום תמלוגים, כשהדרישה היחידה היא שמירת הקרדיט והודעת הרישיון המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗