Biggie-SmoLlm-0.15B-Base

מה זה

מדובר בהרחבה ניסיונית של המודל SmolLM-135M שהוגדל ל־35 שכבות בשיטות של מיזוג מודלים רציף. למרות השם שמציין 0.15B, המפתח עצמו הבהיר שמדובר בפועל ב־181 מיליון פרמטרים. המטרה העיקרית כאן היא לשמש כקרקע לאימונים נוספים ולא לתפקד כצ'אטבוט מוגמר מהקופסה.

הפרויקט משלב ניסויים עם אופטימייזר בשם GrokAdamW וטכניקות מיזוג אבולוציוניות. לפי המפתח, המודל שומר על קוהרנטיות טובה יותר מגרסת המקור, אבל הוא מגיע כמודל בסיס ולא עבר התאמה להוראות, כך שהוא בעיקר משלים טקסט ולא עונה ישירות לשאלות בלי כוונון נוסף.

מתאים ל

• אימון המשך ייעודי

  משמש כבסיס קל משקל לכוונון על דאטה-סט צר עם צריכת זיכרון נמוכה.

• הסקה מהירה על מעבד

  מייצר טקסט בקצב גבוה על ליבת CPU בודדת וללא תלות בחומרת GPU יקרה.

• ניסויי מיזוג מודלים

  בדיקת טכניקות אימון ואופטימיזציה ניסיוניות על ארכיטקטורה קטנה.

איפה זה נופל

זהו מודל בסיס ולא מודל שיחה, והוא רגיש מאוד לפרמטרים של הדגימה. המפתח מודה במפורש שההגדרות הפנימיות עדינות ודורשות כיוונון זהיר, וכי בטמפרטורה רגילה הוא נשאר קוהרנטי רק למאה הטוקנים הראשונים.

השם בתיעוד שגוי ביחס למספר הפרמטרים האמיתי, חלון ההקשר מוגבל ל־2,048 טוקנים בלבד, ואי אפשר לזרוק אותו למערכת מבצעית בלי לעשות לו קודם אימון ייעודי למשימה שלכם.

איך מריצים

אין שום צורך בכרטיס מסך כדי להריץ אותו. המפתח מספק קובץ בכימות של שמונה ביט ששוקל 164 מגה בייט ורץ דרך llama.cpp על ליבת מעבד בודדת בקצב של 160 טוקנים לשנייה, בלי לגעת ב־GPU.

אם הכוונה היא רק להריץ הסקה, מריצים מקומית על כל מחשב נייד ישן בלי לחשוב פעמיים ובלי לגעת ב־API חיצוני. מצד שני, אם רוצים לאמן עליו סקריפטים מחדש, תצטרכו כרטיס מסך עם 8 עד 14 גיגה בייט זיכרון וידאו לפי הגדרות ה־batch size.

ollama run hf.co/nisten/Biggie-SmoLlm-0.15B-Base:Q8_0

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

12 קבצים במאגר, 947 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Biggie_SmolLM_0.15B_Base_bf16.gguf362.9 MB
• pytorch_model.bin269.1 MB
• old-biggie-smollm-checkpoint-twitter-q8_0.gguf193.7 MB
• biggie_groked_int8_q8_0.gguf163.6 MB
• tokenizer.json2.1 MB
• vocab.json800.7 KB
• merges.txt466.4 KB
• README.md13.4 KB
• tokenizer_config.json3.7 KB
• .gitattributes1.9 KB
• special_tokens_map.json831 B
• config.json700 B

הרישיון

רישיון MIT חופשי לחלוטין. מותר להשתמש בו לצרכים מסחריים, לשנות את המשקלים, לשלב אותו במוצר סגור ולהפיץ אותו הלאה, בתנאי ששומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗