Qwen2.5-Coder-14B-Instruct-abliterated-GGUF

קוד פתוח

bartowskiapache-2.02024-11-13

gguf
code
codeqwen
chat
qwen

גרסה מכווצת של מודל קוד עם 14 מיליארד פרמטרים שעבר הסרת מגבלות סירוב. מתאים למי שרוצה הרצה מקומית בלי חסימות של בטיחות.

226 GBמשקל הקבצים
22,043הורדות בחודש
41לייקים

מה זה

מדובר במודל שמיועד לכתיבה וניתוח של קוד, שמבוסס על סדרת Qwen2.5 בגודל 14B ועבר תהליך של הסרת מנגנוני סירוב על ידי huihui-ai. המשתמש bartowski לקח את המשקולות והמיר אותן לפורמט GGUF בעזרת llama.cpp עם כיול imatrix, מה שמאפשר להריץ אותו ישירות על מעבדים וכרטיסי מסך ביתיים בתוכנות כמו LM Studio.

בגודל הזה הוא אמור לתת איזון טוב בין יכולת תכנות מתקדמת לבין צריכת זיכרון שפויה. היעדר הסירובים אומר שהוא יענה גם על בקשות לאבטחת מידע, סקריפטים תוקפניים או בדיקות חדירה שלרוב נחסמים במודלים המקוריים.

מתאים ל

פיתוח כלי אבטחת מידע
כתיבת סקריפטים לבדיקות חדירה בלי להתקל בסירובים אוטומטיים של המודל.
עבודה אופליין על קוד
הרצה מקומית על מחשב נייד חזק לפיתוח ללא תלות ברשת ובלי דליפת מידע.
סיוע תכנותי במכונות ARM
שימוש בגרסאות Q4_0_X_X שממוטבות לביצועים מהירים על מעבדי ARM ייעודיים.

איפה זה נופל

ההגדרה של שפת המודל בדף היא אנגלית בלבד, כך שלא כדאי לבנות עליו לעבודה בעברית. הסרת המגבלות גם מבטלת לחלוטין את מנגנוני ההגנה, מה שאומר שהוא ייצור קוד פגיע או מזיק בלי להזהיר אתכם. בנוסף, הכיווצים החזקים מתחת ל־Q3 מאבדים דיוק בתחביר ובשמות של משתנים.

שאלות
נפוצות

איזה קובץ להוריד מתוך כל הרשימה?

הקובץ המומלץ לרוב המשתמשים הוא Q4_K_M, ששוקל כמעט 9 גיגה ונותן יחס מעולה בין מהירות לאיכות. מי שיש לו פחות זיכרון יכול לבחור ב־IQ3_M, ומי שרוצה מקסימום איכות וכרטיס חזק יכול לקחת את Q6_K.

מה המשמעות של abliterated בשם של המודל?

הכוונה היא שתהליך האימון שינה את המשקולות כדי לנטרל את הנטייה שלו לסרב לבקשות של המשתמש. הוא יענה על שאלות בנושאי אבטחה וכתיבת נוזקות שבדרך כלל נחסמות במודלים רגילים.

איך מריצים

בשביל להריץ אותו צריך קובץ בודד מתוך הרשימה ולא את כל המאגר. גרסת ברירת המחדל המומלצת היא Q4_K_M ששוקלת 8.99 גיגה-בייט, ונכנסת בקלות לכרטיס מסך עם 12 גיגה זיכרון וידאו. אם יש לכם כרטיס עם 16 גיגה ומעלה, לכו על Q6_K ששוקל 12.12 גיגה-בייט ונותן איכות קרובה מאוד למקור.

גרסאות ה־IQ הקטנות יורדות עד 4.7 גיגה-בייט, אבל הן איטיות יותר על מעבדים או Apple Metal, ולא נתמכות ב־Vulkan. אם יש לכם מחשב ישן בלי מאיץ גרפי חזק, עדיף להשתמש ב־API מרוחק במקום לחכות שניות ארוכות לכל שורת קוד.

ollama run hf.co/bartowski/Qwen2.5-Coder-14B-Instruct-abliterated-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

29 קבצים במאגר, 226 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי והפצה, כל עוד שומרים על הודעת זכויות היוצרים המקורית והצהרת הוויתור על אחריות.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗