granite-3.3-8b-instruct-GGUF

מה זה

מדובר בהמרה של granite-3.3-8b-instruct לתבנית GGUF, שנועדה לחסוך זיכרון ולאפשר ריצה בספריות כמו llama.cpp. המאגר כולל 17 קבצים במשקל כולל של 83.3 גיגה בייט, שמכילים רמות כימות שונות של אותו משקל מקורי. מודלים בסדר גודל כזה נותנים בדרך כלל מענה טוב לעיבוד טקסט, כתיבת קוד ומעקב אחרי הוראות בלי לדרוש שרתים כבדים.

כרטיס המודל הנוכחי מפנה ישירות לכרטיס של מודל הבסיס ואינו מפרט תוצאות מבחנים או בנצ'מרקים בעמוד עצמו. מפתחים שבוחרים בו עושים זאת בעיקר כדי לקבל את הארכיטקטורה של יבמ בפורמט קובץ בודד שרץ מהר על מעבדים מקומיים, בלי להתעסק בהמרות ידניות.

מתאים ל

• עוזר מקומי למפתחים

  רץ ישירות על מחשב פיתוח בפורמט קל, בלי לשלוח שורות קוד ומידע רגיש לרשת.

• סוכן אוטומציה פנימי

  מתאים לשילוב בתהליכים מקומיים על שרתים קטנים שצריכים עיבוד הוראות בסיסי.

• הטמעה במוצר סגור

  רישיון אפאצ'י מאפשר להפיץ את הקובץ ישירות בתוך תוכנה ללקוחות ללא תמלוגים.

איפה זה נופל

העמוד הרשמי לא מספק שום פירוט על מגבלות הדיוק, השפות הנתמכות או נקודות התורפה של המודל, אלא רק מפנה לכרטיס המקורי. לא ברור מהחומר איך הוא מתמודד עם עברית, ואי אפשר לדעת מה גודל הפגיעה בביצועים בין הכימותים השונים בלי לבדוק כל קובץ בעצמכם על הנתונים שלכם.

אותה משפחה

granite-3.3 יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

בגלל שמדובר בפורמט GGUF, אתם מורידים קובץ כימות בודד מתוך המאגר ולא את כל התיקייה ששוקלת 83.3 גיגה בייט. מודל של שמונה מיליארד פרמטרים ברמות כימות מקובלות דורש לרוב בין חמישה לשמונה גיגה בייט של זיכרון עבודה כדי לעבוד בצורה סבירה על מחשב נייד או מעבד גרפי פשוט.

ההרצה מתבצעת ישירות דרך כלי קצה כמו llama.cpp, שרתי אולימה או ספריות פייתון שתומכות בפורמט. אם יש לכם צורך בשרת שמשרת אלפי בקשות במקביל ואין לכם עניין לנהל זיכרון והקצאות חומרה, קריאה לשרת ענן ייעודי תהיה פשוטה בהרבה.

ollama run hf.co/ibm-granite/granite-3.3-8b-instruct-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

17 קבצים במאגר, 83.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• granite-3.3-8b-instruct-f16.gguf16.3 GB
• granite-3.3-8b-instruct-Q8_0.gguf8.7 GB
• granite-3.3-8b-instruct-Q6_K.gguf6.7 GB
• granite-3.3-8b-instruct-Q5_1.gguf6.1 GB
• granite-3.3-8b-instruct-Q5_K_M.gguf5.8 GB
• granite-3.3-8b-instruct-Q5_0.gguf5.6 GB
• granite-3.3-8b-instruct-Q5_K_S.gguf5.6 GB
• granite-3.3-8b-instruct-Q4_1.gguf5.1 GB
• granite-3.3-8b-instruct-Q4_K_M.gguf4.9 GB
• granite-3.3-8b-instruct-Q4_K_S.gguf4.7 GB
• granite-3.3-8b-instruct-Q4_0.gguf4.7 GB
• granite-3.3-8b-instruct-Q3_K_L.gguf4.3 GB
• granite-3.3-8b-instruct-Q3_K_M.gguf4.0 GB
• granite-3.3-8b-instruct-Q3_K_S.gguf3.6 GB
• granite-3.3-8b-instruct-Q2_K.gguf3.1 GB
• .gitattributes2.6 KB
• README.md460 B

הרישיון

הרישיון כאן הוא apache-2.0, וזה אומר שאתם חופשיים לעשות עם הקבצים כמעט הכל. מותר להשתמש בהם במוצרים מסחריים, לשנות אותם ולהפיץ אותם הלאה, כל עוד אתם שומרים על הודעת הרישיון המקורית ומציינים את הזכויות של יבמ.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗