SmolLM2-1.7B-Instruct-GGUF
קוד פתוחHuggingFaceTBapache-2.02024-10-31
גרסת GGUF מכווצת למודל קטן שמתאים למי שרוצה להריץ מודל הוראות מקומי בלי לגעת בשרתים יקרים. הקבצים שוקלים כגיגה אחד בלבד ועולים בשניות.
- 1007 MBמשקל הקבצים
- 7,757הורדות בחודש
- 52לייקים
מה זה
המודל הזה הוא גרסה מכווצת של מודל ההוראות מבית HuggingFaceTB, שעבר המרה לפורמט GGUF דרך llama.cpp. עם 1.7 מיליארד פרמטרים בלבד, הוא מכוון למשימות ייצור טקסט בסיסיות באנגלית בלי לדרוש משאבים של מודלי ענק. הוא לא בא להחליף מודלים כבדים בהיגיון מורכב, אלא לתת מענה מהיר וקומפקטי למשימות מוגדרות היטב.
בגודל הזה של ג'יגה בודד, ההבדל המרכזי מול מודלים סטנדרטיים הוא היכולת לרוץ ישירות על מעבד רגיל של לפטופ בלי כרטיס גרפי ייעודי ובלי להכביד על הזיכרון. המטרה כאן היא זמינות מקומית מלאה ויכולת תגובה מיידית, על חשבון עומק התשובות והבנת שפות אחרות.
מתאים ל
- עוזר מקומי במחשב נייד
שוקל כגיגה בלבד ורץ חלק על מעבד רגיל, בלי תלות בחיבור רשת או שליחת מידע החוצה.
- ניסוח ושכתוב באנגלית
מתאים למשימות קצרות ומהירות של עריכת טקסט והוראות פשוטות על מכונה מקומית.
- בדיקות פיתוח מקומיות
מאפשר להרים שרת בדיקות בסיסי של llama.cpp בלי לתפוס משאבי זיכרון יקרים.
איפה זה נופל
המודל הוגדר רשמית לאנגלית בלבד, כך שאין מה לצפות לביצועים סבירים או פלט תקין בעברית. עם 1.7 מיליארד פרמטרים וכימות לפורמט Q4_K_M, הוא יתקשה מאוד במשימות לוגיות עדינות, ניתוח קוד מסובך או שמירה על עובדות מדויקות לאורך זמן. חלון ההקשר בהרצה מוגדר ל־2048 טוקנים, כך שהוא ייכשל בעיבוד טקסטים ארוכים.
אותה משפחה
SmolLM2 יצא ב־8 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם המודל תומך בעברית?
הכרטיס מציין אנגלית בלבד כשפת המודל. ניסיון לייצר או להבין עברית יוביל לפלט משובש ולא אמין, כך שהוא לא מתאים לעבודה בשפה זו.
האם חובה להשתמש בכרטיס מסך כדי להריץ אותו?
אין צורך בכרטיס מסך ייעודי. הקובץ שוקל כגיגה אחד והוא מיועד להרצה ישירה ומהירה על המעבד של כמעט כל מחשב מודרני.
איך מריצים
אתם מריצים אותו ישירות דרך llama.cpp, בין אם באמצעות שורת הפקודה או בהרמת שרת מקומי קטן עם חלון הקשר של 2048 טוקנים. ההתקנה עובדת ישירות עם brew במק או לינוקס, ואפשר לקמפל ידנית עם תמיכה ב־CUDA למי שיש כרטיס של אנבידיה.
מבחינת חומרה, כל מחשב מודרני עם שניים עד ארבעה גיגה של זיכרון פנוי יריץ אותו בקלות על המעבד בלבד. אם אתם צריכים לנתח מסמכים של עשרות עמודים או דורשים הבנה מורכבת בעברית, אין טעם להריץ אותו ועדיף לפנות ישירות ל־API של מודל גדול יותר.
ollama run hf.co/HuggingFaceTB/SmolLM2-1.7B-Instruct-GGUF:Q4_K_M
הקבצים
3 קבצים במאגר, 1007 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא apache-2.0, שמאפשר שימוש מסחרי מלא, שינוי של הקוד והפצה פנימית או מסחרית בתוך מוצר. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי, בלי לגלגל אחריות משפטית על היוצרים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים