SmolLM2-360M-Instruct-GGUF

קוד פתוח

HuggingFaceTBapache-2.02024-10-31

transformers
gguf
llama-cpp
gguf-my-repo
en

גרסה מכווצת בפורמט GGUF של מודל שפה זעיר, שמיועדת לפעול ישירות על מכשירים פשוטים בלי שום צורך במאיץ גרפי ייעודי.

369 MBמשקל הקבצים
8,493הורדות בחודש
53לייקים

מה זה

מדובר במודל שפה קומפקטי במיוחד שעבר המרה לפורמט GGUF דרך llama.cpp, מה שמאפשר להריץ אותו ישירות על המעבד המרכזי בלי תלויות מורכבות. המודל שוקל 369 מגה בייט בלבד בחלוקה לשלושה קבצים, שזה נפח זניח שמתאים להתקנה כמעט בכל סביבה מקומית.

המודל אומן לעקוב אחרי הוראות באנגלית, והיתרון הגדול שלו מול משקלים כבדים הוא מהירות תגובה מיידית וצריכת זיכרון אפסית. הוא לא מתיימר להתחרות במודלים ענקיים בניתוח עמוק, אבל בגודל של 360 מיליון פרמטרים הוא נותן מענה פשוט למשימות מוגדרות וקצרות שחייבות לרוץ מקומית. מי שצריך מיון טקסט בסיסי או השלמת משפטים במכשיר קצה ימצא בו פתרון קל לתפעול בלי להקים תשתית שרתים יקרה.

מתאים ל

הרצה מקומית על מחשב קצה
הוא שוקל רק 369 מגה בייט ורץ ישירות על המעבד דרך llama.cpp בלי שום כרטיס מסך.
סיווג טקסטים באנגלית
מענה מהיר למשימות ניתוב ומיון קצרות באנגלית כשחייבים תגובה מיידית וזולה.
בדיקות ופיתוח מהיר
אידיאלי להרצה בסביבת בדיקות מקומית או בתוך תהליכי CI בלי לבזבז זיכרון ומשאבים.

איפה זה נופל

המודל הזה קטן מאוד ומוגבל לאנגלית בלבד, כך שאין מה לבנות עליו לפרויקטים בעברית או למשימות שדורשות הבנה לשונית רחבה. הוא נוטה להזיות כשהשאלות נהיות מורכבות, וחלון ההקשר שלו מוגבל ל־2048 טוקנים בלבד, מה שפוסל ניתוח של מסמכים ארוכים. לא הייתי משתמש בו לשום משימה של יצירת תוכן חופשי או קוד ללא פיקוח הדוק.

אותה משפחה

SmolLM2 יצא ב־8 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

SmolLM2-135M2,550,777 SmolLM2-135M-Instruct1,357,789 SmolLM2-360M483,957 SmolLM2-1.7B380,106 SmolLM2-360M-Instruct298,126 SmolLM2-1.7B-Instruct232,419 SmolLM2-1.7B-Instruct-GGUF7,757

שאלות
נפוצות

האם אפשר להריץ את המודל הזה על שרת בלי מעבד גרפי?

כן, המודל הומר לפורמט GGUF בדיוק בשביל המטרה הזו. הוא מיועד לרוץ דרך llama.cpp על מעבד רגיל של שרת קטן או מחשב אישי, ותופס מעט מאוד זיכרון עבודה.

האם המודל עובד בעברית?

המודל הוגדר ואומן עבור השפה האנגלית בלבד. אם תזינו לו טקסט בעברית הוא יחזיר פלט שגוי, מקוטע או חסר היגיון, ולכן הוא לא מתאים לעיבוד שפה מקומית.

איך מריצים

כדי להריץ אותו צריך רק להתקין את llama.cpp דרך brew במק ובלינוקס, או לקמפל ישירות מגיטהאב עם תמיכה ב־CURL. הפקודה llama-cli או llama-server מושכת את הקובץ ישירות ומריצה אותו מול חלון הקשר של 2048 טוקנים.

מבחינת חומרה, כל מחשב נייד ישן או אפילו שרת וירטואלי זול עם מעבד בסיסי וג'יגה זיכרון יריצו אותו בלי מאמץ. אם אתם צריכים הבנה מורכבת, עדיף לפנות ל־API חיצוני חזק, אבל אם אתם צריכים פעולה עצמאית ומקומית, ההרצה כאן פשוטה ומהירה.

ollama run hf.co/HuggingFaceTB/SmolLM2-360M-Instruct-GGUF:Q8_0

הקבצים

3 קבצים במאגר, 369 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא apache-2.0, מה שאומר שמותר להשתמש בו לצרכים מסחריים, לשנות אותו ולהפיץ אותו בתוך המוצר שלכם. התנאי היחיד הוא שמירה על הצהרת הרישיון המקורית ומתן קרדיט.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗