Qwen2.5-Coder-7B-Instruct-abliterated-GGUF

מה זה

מדובר בהמרה לפורמט GGUF של המודל Qwen2.5-Coder-7B-Instruct שעבר תהליך abliteration, כלומר ניטרול מנגנוני הסירוב המובנים. המודל מתמקד בכתיבת קוד, השלמת פונקציות והסבר שגיאות, בלי הנטייה המעצבנת לסרב למשימות שנראות למנגנוני הבטיחות חשודות, כמו ניתוח חולשות או סקריפטים לתקיפה ובדיקות חדירה.

היוצר bartowski ייצר כאן שורה ארוכה של כימותים באמצעות llama.cpp וסט נתוני כיול imatrix. המבחר נע בין גרסת f16 מלאה וכבדה לבין דחיסות אגרסיביות מאוד של 2 ביט. בחלק מהגרסאות, כמו אלו המסומנות בסיומת L, משקלי הקלט והפלט נשמרו ברמת דיוק גבוהה של 8 ביט כדי לשמור על איכות הפלט גם כשגוף המודל מכווץ.

מתאים ל

• עוזר קוד מקומי ב־IDE

  רץ ישירות על המחשב ב־LM Studio, בלי לשלוח שורות קוד קנייניות לשרתים חיצוניים ברשת.

• בדיקות אבטחה וסייבר

  כתיבת סקריפטים לבדיקות חדירה וניתוח חולשות בלי לחטוף סירובים או הטפות מוסר מהמודל.

• פיתוח על מחשבים ניידים

  משקל קל סביב 4.7 גיגה מאפשר ריצה חלקה גם על לפטופים סטנדרטיים עם חומרה מוגבלת.

איפה זה נופל

המודל הזה הוא בגודל 7B, ולכן הוא לא מתחרה במודלי ענק על ארכיטקטורות תוכנה מורכבות או פרויקטים שלמים מרובי קבצים. בנוסף, הסרת הסינונים פירושה שאין לו בלמים. הוא עלול לפלוט קוד שבור, מסוכן או פגיע בלי שום אזהרה, והאחריות על הבדיקה נופלת עליכם. מידע המודל מוגדר לשפה האנגלית בלבד, כך שלא כדאי לבנות עליו לפענוח דרישות בעברית או תעוד בעברית בלי לצפות לשגיאות גסות.

איך מריצים

בשביל להריץ אותו מקומית צריך מנוע שתומך בפורמט כמו llama.cpp או LM Studio. אם יש לכם כרטיס מסך עם 8 גיגה זיכרון, גרסת Q4_K_M ששוקלת 4.68 גיגה תיכנס פנימה בקלות יחד עם ההקשר ותרוץ מהר מאוד. מי שמחפש איכות מקסימלית יכול לבחור בגרסת Q8_0 ששוקלת 8.10 גיגה, ומי שלחוץ במקום יכול לרדת לכימותים מסוג IQ3 או Q3_K_M שנכנסים גם בפחות מ־4 גיגה.

אם אתם על חומרת ARM ייעודית, יש קבצים מותאמים כמו Q4_0_4_4 שלא מתאימים לחלונות או מק אבל מאיצים את הריצה במעבדים תואמים. אם אין לכם מעבד גרפי סביר או שאתם צריכים לשרת מאות בקשות במקביל, כנראה עדיף לפנות למודל מנוהל בענן במקום לתפוס זיכרון מקומי.

ollama run hf.co/bartowski/Qwen2.5-Coder-7B-Instruct-abliterated-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

27 קבצים במאגר, 113 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Qwen2.5-Coder-7B-Instruct-abliterated-f16.gguf15.2 GB
• Qwen2.5-Coder-7B-Instruct-abliterated-Q8_0.gguf8.1 GB
• Qwen2.5-Coder-7B-Instruct-abliterated-Q6_K_L.gguf6.5 GB
• Qwen2.5-Coder-7B-Instruct-abliterated-Q6_K.gguf6.3 GB
• Qwen2.5-Coder-7B-Instruct-abliterated-Q5_K_L.gguf5.8 GB
• Qwen2.5-Coder-7B-Instruct-abliterated-Q5_K_M.gguf5.4 GB
• Qwen2.5-Coder-7B-Instruct-abliterated-Q5_K_S.gguf5.3 GB
• Qwen2.5-Coder-7B-Instruct-abliterated-Q4_K_L.gguf5.1 GB
• Qwen2.5-Coder-7B-Instruct-abliterated-Q4_K_M.gguf4.7 GB
• Qwen2.5-Coder-7B-Instruct-abliterated-Q3_K_XL.gguf4.6 GB
• Qwen2.5-Coder-7B-Instruct-abliterated-Q4_K_S.gguf4.5 GB
• Qwen2.5-Coder-7B-Instruct-abliterated-Q4_0.gguf4.4 GB
• Qwen2.5-Coder-7B-Instruct-abliterated-Q4_0_4_4.gguf4.4 GB
• Qwen2.5-Coder-7B-Instruct-abliterated-Q4_0_4_8.gguf4.4 GB
• Qwen2.5-Coder-7B-Instruct-abliterated-Q4_0_8_8.gguf4.4 GB
• Qwen2.5-Coder-7B-Instruct-abliterated-IQ4_XS.gguf4.2 GB
• Qwen2.5-Coder-7B-Instruct-abliterated-Q3_K_L.gguf4.1 GB
• Qwen2.5-Coder-7B-Instruct-abliterated-Q3_K_M.gguf3.8 GB
• Qwen2.5-Coder-7B-Instruct-abliterated-IQ3_M.gguf3.6 GB
• Qwen2.5-Coder-7B-Instruct-abliterated-Q2_K_L.gguf3.5 GB
• Qwen2.5-Coder-7B-Instruct-abliterated-Q3_K_S.gguf3.5 GB
• Qwen2.5-Coder-7B-Instruct-abliterated-IQ3_XS.gguf3.3 GB
• Qwen2.5-Coder-7B-Instruct-abliterated-Q2_K.gguf3.0 GB
• Qwen2.5-Coder-7B-Instruct-abliterated-IQ2_M.gguf2.8 GB
• Qwen2.5-Coder-7B-Instruct-abliterated.imatrix4.5 MB
• README.md11.7 KB
• .gitattributes3.7 KB

הרישיון

המודל מופץ תחת רישיון apache-2.0. זהו רישיון פתוח ומתירני שמאפשר שימוש מסחרי, שינוי קוד והפצה חופשית, בתנאי ששומרים על הודעת זכויות היוצרים המקורית וכתב הוויתור על אחריות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗