OLMo-Bitnet-1B

מה זה

מדובר במימוש של ארכיטקטורת OLMo לפי שיטת BitNet 1.58b, שמאפשרת תיאורטית לייצג משקולות בערכים של מינוס אחת, אפס ואחת בלבד. המודל אומן על שישים מיליארד טוקנים בלבד מתוך המאגר Dolma, כמות קטנה מאוד במונחים של מודלים מודרניים. המטרה כאן היא ניסוי ולא תחליף למודל הפקה.

היוצרים ביצעו במקביל אימון זהה לחלוטין עם אותם היפרפרמטרים במשקולות רגילות של fp16, כדי לבודד את ההשפעה של הארכיטקטורה. התוצאה היא כלי להשוואה מחקרית שמראה איך שיטת הקידוד הזו מחזיקה מעמד מול דיוק רגיל כבר בתחילת הריצה.

מתאים ל

• מחקר קוונטיזציה

  השוואת ביצועים של ארכיטקטורת ביט וחצי מול משקולות רגילות על אותו מאגר מידע בדיוק.

• בדיקת אינטגרציה עם OLMo

  בחינת צנרת טעינה והרצה של מודלי אולמו בסביבת בדיקות מקומית וקלת משקל.

• ניתוח התכנסות אימון

  מעקב אחרי גרפי הלמידה מול ריצת הבסיס כדי לבדוק יציבות בשלבים מוקדמים.

איפה זה נופל

המודל הזה לא נועד למוצרים ולא מסוגל להחזיק שיחה. הכרטיס מציין במפורש שמדובר בהוכחת היתכנות מחקרית שראתה שישים מיליארד טוקנים בלבד, מה שאומר שהוא מייצר הזיות בקצב גבוה ואינו יודע עברית כלל. מעבר לזה, המשקולות מסופקות בקוד בפורמט חצי דיוק ולא ממומשות כמנוע מואץ בביט בודד, כך שאין כאן חיסכון אמיתי בחומרה מהקופסה.

איך מריצים

כדי להריץ אותו צריך להתקין את ספריית ai2-olmo לצד transformers ולהגדיר הרצת קוד מרוחק. למרות הארכיטקטורה של 1.58 ביט, המשקולות שמורות ומורצות בקוד הדוגמה בפורמט bfloat16, כך שנפח הקבצים עומד על 4.4 גיגה בייט והוא דורש כרטיס מסך פשוט או זיכרון עבודה צנוע.

אם אתם מחפשים תשובות איכותיות למשתמשים, אין סיבה להרים אותו. עדיף לקרוא לכל שירות ענן מודרני שיספק טקסט קוהרנטי בעלות זניחה, במקום להיאבק עם מודל קטן שלא סיים אימון.

from transformers import pipeline

pipe = pipeline("text-generation", model="NousResearch/OLMo-Bitnet-1B")
print(pipe("שלום"))

הקבצים

21 קבצים במאגר, 4.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin4.7 GB
• tokenizer.json2.1 MB
• model.py74.4 KB
• checkpoint.py72.9 KB
• beam_search.py46.6 KB
• optim.py34.2 KB
• config.py31.6 KB
• util.py23.4 KB
• modeling_olmo.py7.5 KB
• tokenizer.py7.1 KB
• tokenizer_config.json5.4 KB
• torch_util.py4.1 KB
• initialization.py3.5 KB
• safetensors_util.py2.4 KB
• .gitattributes1.5 KB
• README.md1.5 KB
• configuration_olmo.py1.4 KB
• config.json1.2 KB
• exceptions.py838 B
• aliases.py109 B
• special_tokens_map.json68 B

הרישיון

הרישיון הוא Apache 2.0. הוא מתיר שימוש מסחרי חופשי, שינוי של הקוד והפצה מחדש, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי. אין כאן הגבלות מיוחדות על שילוב במוצרים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗