Nanbeige4.2-3B-GGUF

קוד פתוח

owaoapache-2.02026-07-21

llama-cpp-python
gguf
llm
quantization
nanbeige

גרסת GGUF קומפקטית של מודל שפה בגודל 3 מיליארד פרמטרים שמתמקדת באנגלית ובסינית. מתאימה למי שרוצה להריץ מודל מקומי קל משקל בלי לתפוס כרטיס מסך מפלצתי.

30.9 GBמשקל הקבצים
139,106הורדות בחודש
58לייקים

מה זה

מדובר בהמרה של Nanbeige4.2-3B לפורמט GGUF שמיועד להרצה מקומית דרך llama.cpp והספריות שסביבו. המודל שייך לקטגוריה של מודלי 3B, גודל שמכוון לתת ביצועים סבירים במשימות טקסט כלליות בלי להכביד על הזיכרון. המיקוד המוצהר שלו הוא שתי שפות בלבד, אנגלית וסינית, כך שמי שמחפש פתרון רב לשוני רחב לא ימצא אותו כאן.

הריפוזיטורי הזה כולל חבילה של 15 קבצים בנפח כולל של 30.9 גיגה בייט, שמכילים רמות כימות שונות של אותו מודל בסיס. כרטיס המודל המקורי לא מציג תוצאות מדידה מספריות או השוואות ביצועים מול מודלים מתחרים בגודל הזה, ולכן קשה לדעת מראש איך הוא מתמודד מול חלופות מקבילות במשימות קוד או היגיון. מה שברור מהחומר הוא שמדובר בגרסה שדורשת התאמות תוכנה ספציפיות כדי לפעול כראוי, ולא במוצר מדף שעובד מיד בכל כלי קיים.

מתאים ל

עיבוד טקסט באנגלית ובסינית
הוא אומן רשמית עבור צמד השפות האלה ומתאים לתרגום או סיכום קל ביניהן.
הרצה מקומית על חומרה חלשה
משקל של 3B בכימות GGUF מאפשר להפעיל אותו במחשבים ניידים ללא GPU חזק.
ניסויי קוד בתוך llama.cpp
מתאים למפתחים שמקמפלים פורקים ייעודיים ורוצים לבחון ארכיטקטורות חדשות.

איפה זה נופל

החיסרון המרכזי כאן הוא התחזוקה וההתקנה. אי אפשר פשוט למשוך אותו לתוך llama.cpp רגיל בלי לקמפל גרסה מותאמת, מה שמוסיף כאב ראש רציני לתהליך הפיתוח. בנוסף, המודל אומן ותומך רק באנגלית ובסינית. אין פה תמיכה רשמית בעברית, ולכן בדיקות מקומיות לשפה שלנו מחייבות זהירות ובדיקת איכות יסודית לפני כל מחשבה על שילוב במוצר.

שאלות
נפוצות

אפשר להריץ את המודל הזה פשוט עם ollama run?

לא כרגע. כרטיס המודל מסביר שהשינויים לא נתמכים בגרסה הרגילה ושצריך לקמפל גרסה מותאמת כדי שהוא יעבוד בלי שגיאות.

המודל מבין ומייצר עברית כמו שצריך?

השפות המוגדרות עבורו הן en ו־zh בלבד. הוא לא מיועד לעברית, ואם תנסו להזין לו טקסט מקומי סביר שתקבלו תוצאות משובשות או לא אמינות.

איך מריצים

כדי להריץ אותו דרך llama.cpp או ספריות כמו llama-cpp-python, תצטרכו לקמפל גרסה מהפורק של המפתחים, כי השינויים הנדרשים עדיין לא מוזגו לגרסה הראשית. המפרסם מזהיר במפורש מפני הרצה דרך ollama בגלל בעיות תאימות וביצועים, וממליץ לחלופין על כלים כמו llama-swap.

מבחינת חומרה, מודל של 3B בכימות סביר רץ בלי בעיה על מעבד מרכזי חזק או כרטיס מסך ביתי בסיסי עם מעט זיכרון וידאו. אם אתם צריכים רק לבדוק תגובות ולא רוצים להסתבך עם קמפולים והורדות של קבצים מקומיים, עדיף לפנות ל־API חיצוני זמין.

ollama run hf.co/owao/Nanbeige4.2-3B-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q8_04.4 GB Q6_K3.4 GB Q5_K_M3.0 GB Q4_K_M2.6 GB IQ4_NL2.5 GB Q4_K_S2.5 GB IQ4_XS2.4 GB Q3_K_L2.3 GB Q3_K_M2.2 GB IQ3_M2.1 GB IQ3_S2.0 GB Q3_K_S2.0 GB Q2_K1.8 GB

הקבצים

15 קבצים במאגר, 30.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים סגורים. התנאי העיקרי הוא שמירה על הודעות זכויות היוצרים והרישיון המקורי, והוספת הצהרה על שינויים שבוצעו בקוד.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗