Qwen2.5-7B-Instruct-GGUF

מה זה

מדובר בהמרה מקצועית שביצע bartowski באמצעות llama.cpp עבור מודל ההוראות Qwen2.5-7B. המודל מתמקד במשימות ייצור טקסט באנגלית, ומיועד להרצה מקומית דרך LM Studio או מנועי הסקה דומים התומכים בפורמט. הייחוד של החבילה הזו הוא בכיול ה־imatrix שנעשה על בסיס נתונים ייעודי, מה שמצמצם את אובדן הדיוק שמגיע בדרך כלל עם כיווץ משקלים.

במקום לקבל קובץ יחיד וכבד, bartowski מציע כאן קשת רחבה של 27 קבצים ברמות דחיסה שונות, החל ממשקלים מלאים ועד לרמות כיווץ אגרסיביות מאוד. חלק מהגרסאות כוללות שמירה על משקלי הטמעות ופלט באיכות Q8_0, במטרה לשפר את היציבות התחבירית של המודל גם כשהגוף שלו מכווץ לחלוטין.

מתאים ל

• עוזר מקומי למחשב נייד

  גרסת ה־Q4 נכנסת בזיכרון של מחשב נייד מודרני ומאפשרת שיחה וניסוח טקסטים באנגלית ללא תלות ברשת.

• שרת מקומי דל תקציב

  הרץ של גרסאות ה־I-quant על כרטיסי מסך צרכניים זולים, לעיבוד אצוות של טקסטים בעלות חומרה מינימלית.

• פיתוח על שבבי ARM

  ניצול גרסאות Q4_0_X_X הייעודיות להרצת הסקה מהירה במיוחד על שרתים או מכשירי קצה מבוססי ארכיטקטורת ARM.

איפה זה נופל

בגרסאות המכווצות ביותר, כמו אלו שיורדות מתחת ל־3 ביט, המודל מאבד מאיכותו באופן מורגש ולעיתים מייצר טעויות גסות. גרסאות מסוג I-quant אמנם חוסכות מקום אך הן איטיות יותר על מעבדים ועל שבבי אפל, ואינן נתמכות כלל ב־Vulkan של AMD. בנוסף, המודל מוגדר רשמית עבור אנגלית בלבד, כך שלא מומלץ להסתמך עליו למשימות בעברית לפני בדיקה קפדנית של התוצרים.

אותה משפחה

Qwen2.5 יצא ב־6 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ את המודל, מורידים רק קובץ GGUF ספציפי אחד ולא את כל הספרייה. המשקלים מתחילים מ־2.78 גיגה בייט בגרסאות הנמוכות ומגיעים עד 15.24 גיגה בייט עבור משקלי המקור, כאשר לרוב המשתמשים מומלץ לקחת את גרסת Q4_K_M ששוקלת 4.68 גיגה בייט. בשביל מהירות מקסימלית תצטרכו כרטיס מסך עם זיכרון פנוי שגדול בגיגה או שניים מגודל הקובץ הנבחר, למשל כרטיס של 8 גיגה בייט שיספיק מעל ומעבר לגרסת ה־4 ביט.

אם אתם על מעבדי ARM, יש חבילות מותאמות כמו Q4_0_4_4 שנותנות שיפור ביצועים, אך אינן מתאימות ל־Metal של אפל. אם אין לכם מעבד גרפי ייעודי ואתם מתכננים לרוץ על מעבד רגיל בלבד עם זמני תגובה איטיים, עדיף להשתמש ב־API חיצוני של ספק ענן במקום לחנוק את המחשב.

ollama run hf.co/bartowski/Qwen2.5-7B-Instruct-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

27 קבצים במאגר, 113 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Qwen2.5-7B-Instruct-f16.gguf15.2 GB
• Qwen2.5-7B-Instruct-Q8_0.gguf8.1 GB
• Qwen2.5-7B-Instruct-Q6_K_L.gguf6.5 GB
• Qwen2.5-7B-Instruct-Q6_K.gguf6.3 GB
• Qwen2.5-7B-Instruct-Q5_K_L.gguf5.8 GB
• Qwen2.5-7B-Instruct-Q5_K_M.gguf5.4 GB
• Qwen2.5-7B-Instruct-Q5_K_S.gguf5.3 GB
• Qwen2.5-7B-Instruct-Q4_K_L.gguf5.1 GB
• Qwen2.5-7B-Instruct-Q4_K_M.gguf4.7 GB
• Qwen2.5-7B-Instruct-Q3_K_XL.gguf4.6 GB
• Qwen2.5-7B-Instruct-Q4_K_S.gguf4.5 GB
• Qwen2.5-7B-Instruct-Q4_0.gguf4.4 GB
• Qwen2.5-7B-Instruct-Q4_0_4_4.gguf4.4 GB
• Qwen2.5-7B-Instruct-Q4_0_4_8.gguf4.4 GB
• Qwen2.5-7B-Instruct-Q4_0_8_8.gguf4.4 GB
• Qwen2.5-7B-Instruct-IQ4_XS.gguf4.2 GB
• Qwen2.5-7B-Instruct-Q3_K_L.gguf4.1 GB
• Qwen2.5-7B-Instruct-Q3_K_M.gguf3.8 GB
• Qwen2.5-7B-Instruct-IQ3_M.gguf3.6 GB
• Qwen2.5-7B-Instruct-Q2_K_L.gguf3.5 GB
• Qwen2.5-7B-Instruct-Q3_K_S.gguf3.5 GB
• Qwen2.5-7B-Instruct-IQ3_XS.gguf3.3 GB
• Qwen2.5-7B-Instruct-Q2_K.gguf3.0 GB
• Qwen2.5-7B-Instruct-IQ2_M.gguf2.8 GB
• Qwen2.5-7B-Instruct.imatrix4.5 MB
• README.md10.2 KB
• .gitattributes3.2 KB

הרישיון

הרישיון הוא Apache 2.0, וזה אומר חופש כמעט מוחלט. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד והמשקלים, ולשלב אותו במוצרים פנימיים או מסחריים שאתם מוכרים, כל עוד אתם שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗