SmolLM-135M

מה זה

מדובר במודל הקטן ביותר בסדרת SmolLM של HuggingFaceTB, המבוסס על ארכיטקטורת Llama ומכיל 134,515,008 פרמטרים בלבד. בניגוד למודלים ענקיים שדורשים חוות שרתים, הדגש כאן הוא על יחס ביצועים לגודל, תוך אימון על 600 מיליארד טוקנים מתוך מאגר Cosmo-Corpus שכולל ספרי לימוד סינתטיים וקוד פייתון.

הוא מתאים בעיקר ליצירת טקסט בסיסית, השלמת קוד ומשימות הבנה פשוטות באנגלית. בכרטיס המודל מציינים שהוא מציג תוצאות טובות יחסית לקטגוריית הגודל שלו במבחני היגיון וידע כללי, אבל צריך לזכור שזה עדיין גודל מוגבל מאוד שנועד לפעולות ממוקדות ולא לשיחות עמוקות.

מתאים ל

• השלמת קוד מקומית

  הוא אומן על 4 מיליארד טוקנים של פייתון ויכול לתפקד כעוזר כתיבה קל משקל.

• מכשירי קצה ומחשבים חלשים

  הוא תופס רק 110 מגה-בייט בכימות, מה שמאפשר לו לרוץ על חומרה בסיסית.

• עיבוד טקסט בסיסי באנגלית

  מתאים למיון טקסטים קצרים או הפקת ניסוחים באנגלית בלי להוציא כסף על ענן.

איפה זה נופל

המודל תומך ומבין אנגלית בלבד, כך שאין מה לבנות עליו למשימות בעברית. בנוסף, הכרטיס מזהיר במפורש שהפלט עשוי לסבול מחוסר עקביות לוגית, טעויות עובדתיות והטיות מנתוני האימון. יש גם פער ביצועים קטן שהמפתחים מציינים בין הגרסה הזו שהומרה לספריית transformers לבין המודל המקורי שאומן ב־nanotron.

אותה משפחה

SmolLM יצא ב־6 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

אתם יכולים להריץ אותו ישירות דרך ספריית transformers בפייתון על כרטיס מסך או ישירות על ה־CPU. בגרסת bfloat16 הוא תופס כ־269 מגה-בייט בלבד בזיכרון, ואם משתמשים בכימות של 4-ביט דרך bitsandbytes, צריכת הזיכרון צונחת לכ־110 מגה-בייט.

מכיוון שהדרישות החומריות שלו מזעריות, אין שום סיבה להשתמש ב־API מרוחק או לשלם על שירותי ענן. היתרון הגדול שלו הוא ריצה מקומית על מחשבים פשוטים, מכשירי קצה או סביבות בדיקה ללא חיבור רשת.

from transformers import pipeline

pipe = pipeline("text-generation", model="HuggingFaceTB/SmolLM-135M")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 2.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• onnx/model.onnx539.0 MB
• model.safetensors538.1 MB
• onnx/model_fp16.onnx270.0 MB
• onnx/model_q4.onnx180.7 MB
• onnx/model_bnb4.onnx174.1 MB
• onnx/model_uint8.onnx135.8 MB
• onnx/model_int8.onnx135.8 MB
• onnx/model_quantized.onnx135.8 MB
• tokenizer.json2.1 MB
• vocab.json800.7 KB
• merges.txt466.4 KB
• README.md5.4 KB
• tokenizer_config.json3.7 KB
• .gitattributes1.5 KB
• special_tokens_map.json831 B
• config.json724 B
• generation_config.json111 B

הרישיון

הרישיון הוא Apache 2.0 מלא. אפשר להשתמש בו חופשי במוצרים מסחריים, לשנות את הקוד ולהפיץ אותו, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗