GPT
הוספת כלי
S

SmolLM2-360M

קוד פתוח

HuggingFaceTBapache-2.02024-10-31

  • transformers
  • safetensors
  • llama
  • text-generation
  • en

מודל שפה קטן של 362 מיליון פרמטרים שרץ ישירות על מעבד מקומי או טלפון. הוא מיועד למי שצריך השלמת טקסט בסיסית באנגלית בלי תלות ברשת ובלי צריכת זיכרון כבדה.

  • 362Mפרמטרים
  • 8,192טוקנים בהקשר
  • 693 MBמשקל הקבצים
  • 483,957הורדות בחודש

מה זה

מדובר במודל בסיס קומפקטי מארכיטקטורת Llama שאימנו אותו על ארבעה טריליון טוקנים ממאגרים כמו FineWeb-Edu ו־The Stack. המטרה כאן היא לתת ביצועים סבירים במעטפת גודל מזערית, כשהמשקל הכולל של הקבצים מסתכם בכ־693 מגה-בייט.

במבחנים מסוימים הוא עוקף מודלים כמו Qwen2.5 בגרסת חצי מיליארד פרמטרים, למשל במבחני ידע והיגיון בסיסי כמו ARC שבו קיבל 53 או PIQA שבו הגיע ל־71.7. מנגד, במבחני חישוב מתמטי כמו GSM8K הוא משיג ציון חלש מאוד של 3.2 נקודות לעומת 33.4 של המתחרה, מה שמבהיר מיד את תקרת הזכוכית של הגודל הזה.

מתאים ל

  • השלמת טקסט במכשיר קצה

    טביעת זיכרון של כ־724 מגה-בייט מאפשרת להריץ השלמת משפטים באנגלית ישירות על מעבד של טלפון או מחשב נייד ישן.

  • אימון ייעודי למשימה צרה

    מתאים למי שרוצה לעשות fine-tuning מהיר וזול לחילוץ תבניות או סיווג מילים באנגלית בלי לשרוף תקציבי ענן.

  • הפעלת רכיב מקומי מנותק רשת

    עובד בצורה מלאה אופליין בסביבות שבהן אסור להוציא מידע החוצה או שאין בהן חיבור אינטרנט זמין.

איפה זה נופל

המודל מוגדר ומאומן באנגלית בלבד. אל תצפו ממנו לתמוך בעברית, כי הוא פשוט יפלוט טעויות וג'יבריש. מעבר לכך, מדובר במודל בסיס שלא עבר אימון מענה להוראות, כך שהוא ממשיך משפטים ולא עונה על שאלות כצ'אטבוט. המפתחים מודים בעצמם שהתוכן עלול לסבול מחוסר עקביות לוגית ומהטיות, ורמת הדיוק שלו במתמטיקה כמעט אפסית.

אותה משפחה

SmolLM2 יצא ב־8 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

SmolLM2-135M2,550,777 SmolLM2-135M-Instruct1,357,789 SmolLM2-1.7B380,106 SmolLM2-360M-Instruct298,126 SmolLM2-1.7B-Instruct232,419 SmolLM2-360M-Instruct-GGUF8,493 SmolLM2-1.7B-Instruct-GGUF7,757

שאלות
נפוצות

האם אפשר להשתמש בו לשיחה ולמענה על שאלות?

לא בצורה הזו. זהו מודל בסיס שמשלים טקסט ולא גרסת Instruct, ולכן אם תשאלו אותו שאלה הוא כנראה ימשיך לכתוב שאלות נוספות במקום לענות. למשימות צ'אט יש להשתמש בגרסת ה־Instruct שלו או לבצע אימון נוסף.

האם המודל מבין וכותב בעברית?

לא. המודל הוגדר ואומן על מאגרי מידע באנגלית בלבד. ניסיון להזין לו פרומפטים בעברית יפיק פלטים משובשים, חסרי היגיון או שגויים לחלוטין.

איזה כרטיס מסך צריך כדי להריץ אותו?

אין חובה בכרטיס מסך ייעודי. הקבצים שוקלים כ־693 מגה-בייט והמודל תופס כ־724 מגה-בייט בלבד ב־RAM, כך שהוא רץ מהר וחלק על המעבד הרגיל בכל מחשב מודרני.

איך מריצים

טעינה של המודל בפורמט bfloat16 דורשת רק כ־724 מגה-בייט בזיכרון העבודה, כך שאפשר להריץ אותו בקלות על כל מעבד מודרני בלי צורך בכרטיס מסך ייעודי. הקוד מתבסס ישירות על ספריית transformers הסטנדרטית, והוא נטען עם כמה שורות פייתון פשוטות.

אם כל מה שאתם צריכים זה שרת שמחזיר תשובות מורכבות, עדיף להשתמש ב־API של מודל ענן גדול. הרצה עצמית של המודל הזה משתלמת רק כשחייבים עבודה מקומית לגמרי, במכשירים מנותקי רשת או במערכות עם תקציב חומרה אפסי.

from transformers import pipeline

pipe = pipeline("text-generation", model="HuggingFaceTB/SmolLM2-360M")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 693 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון Apache 2.0 המאפשר שימוש מסחרי חופשי, שינוי של הקוד והפצה של המודל בתוך מוצרים סגורים. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצי ההפצה.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗