Jan-nano-gguf

מה זה

מדובר במודל שפותח על ידי Menlo על גבי ארכיטקטורת Qwen3 ומיועד לפעול בתוך המערכת של Jan או בסביבות מקומיות אחרות. המטרה המרכזית שלו היא לספק יכולות טקסט מהירות בלי לצרוך כמויות עצומות של זיכרון גרפי, כשהוא מוגדר מפורשות כמודל ללא שרשרת חשיבה ארוכה, מה שאומר שאין כאן תהליכי היסק מורכבים ואיטיים לפני כל פליטת מילים.

לפי התיעוד שסופק, המפתחים כיוונו אותו במיוחד לשני תחומים: הפעלת כלים חיצוניים וקריאות לפונקציות, ויכולות עיבוד מידע ומחקר. הוא משלב הקשר ארוך בתוך גודל פיזי צנוע יחסית של משקלים, כך שאפשר להריץ אותו ישירות דרך ממשק Jan או כל תוכנה שיודעת לטעון קובצי GGUF, תוך שימוש בפרמטרי דגימה מומלצים של טמפרטורה 0.7 ו־Top-p של 0.8.

מתאים ל

• קריאה לכלים ופונקציות

  התאמה טובה לחיבור אל סקריפטים ומערכות אוטומציה מקומיות שדורשות שימוש מובנה בכלים.

• עיבוד מידע מקומי

  מתאים לניתוח טקסטים ומחקר על המחשב ללא תלות ברשת וללא שליחת מידע החוצה.

• הרצה בסביבת Jan

  פתרון ישיר לעבודה בממשק שולחני קל שלא שואב את כל משאבי המערכת.

איפה זה נופל

המגבלה הבולטת ביותר מופיעה ישר בפתיחה: המודל מוגדר כ־non-thinking model. זה אומר שהוא לא מייצר שלבי חשיבה פנימיים לפני התשובה, כך שפתרון בעיות היגיון מורכבות, מתמטיקה כבדה או תכנון מסועף עלולים ליפול בגלל היעדר עומק. בנוסף, הכרטיס לא מספק ציוני בנצ'מרק רשמיים לבדיקת ביצועים מול דגמים אחרים, ולכן חובה לבדוק אותו בעצמכם על המשימות הספציפיות שלכם, במיוחד בחיבור לכלים, כדי לראות שהוא לא ממציא שדות בקריאות פונקציה.

אותה משפחה

Jan-nano יצא ב־4 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

הקבצים כאן מגיעים בפורמט GGUF, מה שאומר שאפשר להריץ אותם ישירות על מעבד ומאיץ גרפי ביתי באמצעות תוכנת Jan או כלים מבוססי llama.cpp. סך כל הקבצים שפורסמו מגיע ל־34.9 גיגה-בייט שמחולקים ל־16 חלקים, כך שחובה לוודא שיש לכם מספיק זיכרון עבודה פנוי ומקום בדיסק לפני שמתחילים להוריד.

אם אתם צריכים רק שילוב מהיר בתוך שירות רשת קיים ואין לכם עניין לנהל חומרה מקומית, עדיף להשתמש ב־API מרוחק של מודל ענן. הרצה מקומית של המודל הזה מתאימה בעיקר כשיש מגבלות פרטיות, היעדר חיבור לרשת, או רצון לעבוד בממשק Jan ללא עלויות תעבורה שוטפות.

ollama run hf.co/Menlo/Jan-nano-gguf:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

16 קבצים במאגר, 34.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• jan-nano-4b-Q8_0.gguf4.3 GB
• jan-nano-4b-Q6_K.gguf3.3 GB
• jan-nano-4b-Q5_1.gguf3.1 GB
• jan-nano-4b-Q5_K_M.gguf2.9 GB
• jan-nano-4b-Q5_0.gguf2.8 GB
• jan-nano-4b-Q5_K_S.gguf2.8 GB
• jan-nano-4b-Q4_1.gguf2.6 GB
• jan-nano-4b-Q4_K_M.gguf2.5 GB
• jan-nano-4b-Q4_K_S.gguf2.4 GB
• jan-nano-4b-Q4_0.gguf2.4 GB
• jan-nano-4b-iQ4_XS.gguf2.3 GB
• jan-nano-4b-Q3_K_L.gguf2.2 GB
• jan-nano-4b-Q3_K_M.gguf2.1 GB
• jan-nano-4b-Q3_K_S.gguf1.9 GB
• .gitattributes3.5 KB
• README.md1.6 KB

הרישיון

הפרויקט משוחרר תחת רישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד והמשקלים, להפיץ אותם מחדש ולשלב אותם בתוך מוצרים סגורים. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים המקורית והצהרת שינויים אם נעשו כאלה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗