Qwen2.5-Coder-32B-Instruct-abliterated-GGUF

מה זה

מדובר במודל Qwen2.5 בגרסת 32 מיליארד פרמטרים המיועדת לכתיבת קוד, שעברה תהליך של הסרת מגבלות סירוב (abliteration) על ידי huihui-ai, ונארזה כאן לקובצי GGUF על ידי bartowski באמצעות llama.cpp b4058. המטרה של התהליך היא למנוע מהמודל לסרב לבקשות לגיטימיות בתחומי אבטחת מידע, סקריפטים של חדירה, או קוד שנוי במחלוקת שמודלים רגילים נוטים לחסום מיד.

המשקלים עברו כיול imatrix עם דאטה-סט ייעודי, ומגיעים בטווח שנע בין f16 מלא בנפח של מעל 65GB ועד לקבצי 2 ביט של פחות מ־10GB. הפורמט הזה מאפשר להריץ מודל תכנות ברמה גבוהה ישירות על החומרה המקומית שלכם, ללא תלות ברשת וללא חשש שחברות ענן יציצו בקוד המקור שלכם.

מתאים ל

• בדיקות חדירה ואבטחה

  ניתוח חולשות בקוד ופיתוח כלי בדיקה בלי להיתקל בסירובים אוטומטיים של המודל.

• פיתוח אוף-ליין

  עבודה על בסיס קוד רגיש ומסווג שחייב להישאר על החומרה המקומית ללא חיבור רשת.

• סביבות מבוססות ARM

  הרצה מואצת על חומרת ARM תואמת באמצעות קובצי הקוונטיזציה הייעודיים.

איפה זה נופל

הסרת המגבלות לא הופכת את המודל לחכם יותר, ולפעמים היא פוגעת ביציבות התשובות או גורמת להזיות בקוד מורכב. הוא מוגדר לשפה האנגלית בלבד, כך שלא הייתי בונה עליו להערות או תיעוד בעברית. בנוסף, גרסאות ה־IQ אינן תומכות ב־Vulkan, והפעלת המודל דורשת פורמט פרומפט מדויק של ChatML, אחרת איכות התשובות נפגעת משמעותית.

איך מריצים

כדי להריץ אותו מקומית, צריך כרטיס מסך עם זיכרון משמעותי או שילוב של זיכרון מערכת ו־VRAM. הגרסה המומלצת לרוב האנשים היא Q4_K_M ששוקלת 19.85GB, ודורשת כרטיס עם לפחות 24GB VRAM כדי לרוץ במהירות סבירה. אם הזיכרון חנוק, יש גרסאות IQ3 או Q3 שדורשות כ־15GB עד 17GB, אבל מתחת לזה, בגרסאות ה־2 ביט, מורגשת ירידה באיכות הפלט.

אתם יכולים לטעון את הקבצים ישירות בתוך LM Studio או להריץ אותם ב־llama.cpp. יש לשים לב שהגרסאות שמסומנות ב־Q4_0_X_X מיועדות למעבדי ARM בלבד ולא יעבדו כמו שצריך ב־Windows או Mac. אם אין לכם חומרה מתאימה עם לפחות 24GB זיכרון ייעודי, עדיף להשתמש בפתרונות ענן ולא לנסות להריץ אותו בכוח על מעבד רגיל.

ollama run hf.co/bartowski/Qwen2.5-Coder-32B-Instruct-abliterated-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

30 קבצים במאגר, 490 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Qwen2.5-Coder-32B-Instruct-abliterated-f16/Qwen2.5-Coder-32B-Instruct-abliterated-f16-00001-of-00002.gguf39.9 GB
• Qwen2.5-Coder-32B-Instruct-abliterated-Q8_0.gguf34.8 GB
• Qwen2.5-Coder-32B-Instruct-abliterated-Q6_K_L.gguf27.3 GB
• Qwen2.5-Coder-32B-Instruct-abliterated-Q6_K.gguf26.9 GB
• Qwen2.5-Coder-32B-Instruct-abliterated-f16/Qwen2.5-Coder-32B-Instruct-abliterated-f16-00002-of-00002.gguf25.7 GB
• Qwen2.5-Coder-32B-Instruct-abliterated-Q5_K_L.gguf23.7 GB
• Qwen2.5-Coder-32B-Instruct-abliterated-Q5_K_M.gguf23.3 GB
• Qwen2.5-Coder-32B-Instruct-abliterated-Q5_K_S.gguf22.6 GB
• Qwen2.5-Coder-32B-Instruct-abliterated-Q4_K_L.gguf20.4 GB
• Qwen2.5-Coder-32B-Instruct-abliterated-Q4_K_M.gguf19.9 GB
• Qwen2.5-Coder-32B-Instruct-abliterated-Q4_K_S.gguf18.8 GB
• Qwen2.5-Coder-32B-Instruct-abliterated-Q4_0.gguf18.7 GB
• Qwen2.5-Coder-32B-Instruct-abliterated-Q4_0_4_4.gguf18.6 GB
• Qwen2.5-Coder-32B-Instruct-abliterated-Q4_0_4_8.gguf18.6 GB
• Qwen2.5-Coder-32B-Instruct-abliterated-Q4_0_8_8.gguf18.6 GB
• Qwen2.5-Coder-32B-Instruct-abliterated-Q3_K_XL.gguf17.9 GB
• Qwen2.5-Coder-32B-Instruct-abliterated-IQ4_XS.gguf17.7 GB
• Qwen2.5-Coder-32B-Instruct-abliterated-Q3_K_L.gguf17.2 GB
• Qwen2.5-Coder-32B-Instruct-abliterated-Q3_K_M.gguf15.9 GB
• Qwen2.5-Coder-32B-Instruct-abliterated-IQ3_M.gguf14.8 GB
• Qwen2.5-Coder-32B-Instruct-abliterated-Q3_K_S.gguf14.4 GB
• Qwen2.5-Coder-32B-Instruct-abliterated-IQ3_XS.gguf13.7 GB
• Qwen2.5-Coder-32B-Instruct-abliterated-Q2_K_L.gguf13.1 GB
• Qwen2.5-Coder-32B-Instruct-abliterated-Q2_K.gguf12.3 GB
• Qwen2.5-Coder-32B-Instruct-abliterated-IQ2_M.gguf11.3 GB
• Qwen2.5-Coder-32B-Instruct-abliterated-IQ2_S.gguf10.4 GB
• Qwen2.5-Coder-32B-Instruct-abliterated-IQ2_XS.gguf10.0 GB
• Qwen2.5-Coder-32B-Instruct-abliterated.imatrix15.0 MB
• README.md12.4 KB
• .gitattributes4.1 KB

הרישיון

הפרויקט מדווח תחת רישיון Apache 2.0. הרישיון הזה מתיר שימוש מסחרי חופשי, שינוי של הקוד והפצה מחדש, בתנאי ששומרים על הודעות זכויות היוצרים והרישיון המקורי. אין כאן הגבלות מיוחדות על שילוב במוצרים מסחריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗