Mythos-nano-i1-GGUF

קוד פתוח

mradermachermit2026-06-19

transformers
gguf
reasoning
math
code

גרסת כימות מבוססת חשיבות למודל מקור קטן במיוחד, שמיועדת להרצה מקומית קלילה באנגלית. מי שמחפש קובץ זעיר של גיגה בודד ימצא כאן מענה ישיר.

34.2 GBמשקל הקבצים
1,260הורדות בחודש
73לייקים

מה זה

המאגר הזה מציג המרה של מודל המקור squ11z1/Mythos-nano לפורמט GGUF באמצעות כימותי imatrix. המטרה של כימות כזה היא לשמור על דיוק גבוה יותר בייצוג המשקולות הקריטיות, במיוחד כשדוחסים מודל לנפחים נמוכים של גיגה בייט בודד. המודל מוגדר לשפה האנגלית בלבד, ומשקלו הכולל על פני כל 27 הקבצים שהועלו מגיע ל־34.2 גיגה בייט.

הייחוד כאן הוא המגוון הרחב של דרגות הדחיסה שנוצרו עם מטריצת חשיבות, לצד קובץ imatrix ייעודי של 0.1 גיגה בייט למי שרוצה לייצר כימותים עצמאיים. במקום להסתפק בהמרות סטטיות רגילות, הכימותים האלה מנסים למזער את אובדן האיכות שנוצר בדרך כלל בגרסאות קטנות. כרטיס המודל לא חושף את נתוני האימון המקוריים או מבחני ביצועים כמותיים, כך שהערך המרכזי הוא הזמינות של קבצים מכוילים ומוכנים להרצה במגוון רחב של רמות דיוק.

מתאים ל

הרצה מקומית על חומרה חלשה
הקבצים שוקלים סביב שני גיגה בייט ומתאימים למחשבים ישנים או מיקרו־מחשבים ללא כרטיס מסך ייעודי.
בדיקת כימותים מותאמים
הקובץ imatrix הנפרד מאפשר לנסות שיטות דחיסה חדשות על המודל ישירות.
ניסויי שפה באנגלית
הוא מוגדר לאנגלית בלבד ומתאים למשימות טקסט פשוטות שלא מצריכות משאבי ענן.

איפה זה נופל

הכרטיס מצהיר בפירוש שגרסאות ה־IQ1 מיועדות למשתמשים נואשים בלבד, ושרמות כמו i1-Q2_K_S מספקות איכות נמוכה מאוד. מודל בגודל כזה סובל מהזיות ומפליטת שטויות לעיתים קרובות, במיוחד אם דוחסים אותו מתחת לשלושה ביט. בנוסף, המודל מתועד לאנגלית בלבד ואין בו שום התאמה מתועדת לעברית. חסר גם כל תיעוד על ארכיטקטורת המקור, מגבלות ההקשר או משימות ספציפיות שהוא אומן עליהן, כך שאי אפשר להסתמך עליו במוצר אמיתי בלי בדיקה ידנית מקיפה של הפלטים.

שאלות
נפוצות

איזו גרסה כדאי להוריד מתוך כל הקבצים?

האפשרות המאוזנת ביותר היא i1-Q4_K_M ששוקלת 2.0 גיגה בייט. היא מהירה ומספקת פשרה טובה בין גודל לאיכות, בעוד שגרסאות ה־IQ1 וה־IQ2 נמוכות מדי באיכותן.

האם המודל תומך בעברית?

לא. המודל מתועד לשפה האנגלית בלבד, וסביר להניח שפלט בעברית יהיה שבור או לא קיים כלל.

איך מריצים

בשביל להריץ את הקבצים האלה צריך כלי שתומך בפורמט GGUF כמו llama.cpp. המשקלים של הקבצים הבודדים נעים בין 0.9 גיגה בייט בגרסת i1-IQ1_S ועד 2.6 גיגה בייט בגרסת i1-Q6_K, כך שכל מעבד מודרני במחשב נייד פשוט או מעבד גרפי בסיסי עם 2 עד 4 גיגה זיכרון יריצו אותם בלי שום מאמץ.

מי שרוצה איזון טוב יבחר ב־i1-Q4_K_M או ב־i1-Q4_K_S ששוקלים סביב 1.9 עד 2.0 גיגה בייט, כפי שמומלץ ישירות בטבלה. אם אתם בונים שירות שדורש הבנה עמוקה, ניתוח מורכב או עבודה בעברית, עדיף לפנות ל־API חיצוני של מודל ענק במקום להריץ את המודל הזעיר הזה.

ollama run hf.co/mradermacher/Mythos-nano-i1-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

27 קבצים במאגר, 34.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון MIT. מדובר ברישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי קוד והפצה חוזרת בתוך מוצרים סגורים, בלי דרישה לחשוף את הפיתוח שלכם. התנאי היחיד הוא שמירת הודעת זכויות היוצרים ונוסח הרישיון המקורי בקבצים.

שימוש מסחרי
שינוי הקוד
הפצה מחדש

הרישיון המלא בעמוד המודל ↗