Qwen3.8-27B-ABLITERATED-GGUF

קוד פתוח

Blackfrost-AIapache-2.02026-08-14

gguf
qwen3.8
qwen
27b
dense

גרסת קוונטיזציה של מודל מולטימודלי בגודל 27 מיליארד פרמטרים, שעברה הסרה מכוונת של מנגנוני הסירוב ברמת המשקולות כדי לענות ישירות על פרומפטים שנדחים במקור.

153 GBמשקל הקבצים
333,728הורדות בחודש
230לייקים

מה זה

מדובר במודל היברידי דחוס שמשלב קלט של טקסט, תמונה ווידאו עם פלט טקסטואלי, שמבוסס במקור על משפחת Qwen3.8. הייחוד של הבנייה הזו הוא הסרת חסימות הבטיחות ללא אימון נוסף או חיתוך פרמטרים, לצד הטמעה ישירה של מנגנון פענוח ספקולטיבי בתוך קובץ הריצה.

במבחן 450 מקרי סירוב שנבדק על נגזרת המשקל המקורית, המודל הוריד את שיעור הסירובים הסופי ל־2.4 אחוזים, שהם 11 מקרים בלבד. בנוסף, שילוב של קובץ עזר מסוג DFlash2 הגיע למהירות של כ־109 טוקנים לשנייה על חומרת שרת ייעודית.

מתאים ל

מחקר אבטחה ובדיקות חדירה
הוא עונה על תרחישי תקיפה ובדיקות ללא חסימות סירוב גנריות.
ניתוח מסמכים ותמונות מקומי
מאפשר עיבוד תמונה וטקסט על חומרה פנימית בלי להוציא מידע לענן.
מענה אוטומטי מהיר לטקסט
מנגנון הפענוח המוטמע מפיק קצב טוקנים גבוה בהרצה מקומית.

איפה זה נופל

הסרת מנגנוני הבטיחות היא שינוי ניסיוני במשקולות, ומדדי המבוכה שנבדקו מראים פגיעה קלה באיכות הטקסט בהשוואה למודל המקור הנקי. בנוסף, המהירות הגבוהה והביצועים שנמדדו נבדקו על חומרת שרת עם כרטיס בודד של 96 גיגה בייט, ולא מבטיחים יציבות דומה בריבוי משתמשים או בקלט וידאו מורכב.

שאלות
נפוצות

האם צריך להוריד קובץ טיוטה נפרד בשביל האצת המודל?

לא חובה. הגרסאות הנוכחיות כוללות את ראש הניחוש המובנה בתוך הקובץ הראשי, אך קובץ ההאצה החיצוני דורש גרסת קוד ייעודית של llama.cpp.

איך משתמשים ביכולות הראייה והווידאו שלו?

טעינת המודל בלבד תאפשר עבודה עם טקסט בלבד. כדי להזין תמונות או וידאו יש להוריד בנוסף את אחד מקובצי הפרויקטור ולהגדיר אותו בשרת הריצה.

איך מריצים

להרצה בסיסית של גרסת Q4_K_M דרושים כ־16.8 גיגה בייט זיכרון רק למשקולות, לא כולל זיכרון הקשר ומודול הראייה שדורש קובץ mmproj נפרד. כרטיס מסך ביתי עם 24 גיגה בייט זיכרון יספיק לטקסט בלבד בהקשר קצר, אך ניצול מלא של חלון ההקשר המלא מחייב חומרת שרת כבדה בהרבה.

הקבצים נעים בין 10.9 גיגה בייט לגרסת Q2_K המאוד מכווצת ועד 29 גיגה בייט לגרסת Q8_0, כשגרסת האמצע המומלצת היא Q4_K_M. הרצה מקומית משתלמת אם אתם צריכים פרטיות מלאה או חופש מסירובים, אך לסתם עיבוד תמונות מזדמן עדיף לקרוא למודל מארח בענן.

ollama run hf.co/Blackfrost-AI/Qwen3.8-27B-ABLITERATED-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q8_029.0 GB Q6_K22.4 GB Q5_K_M19.5 GB Q5_K_S19.0 GB Q4_K_M16.8 GB Q4_K_S15.8 GB Q3_K_M13.5 GB Q3_K_S12.3 GB Q2_K10.9 GB BF163.9 GB F16927.6 MB Q8_0629.2 MB

הקבצים

18 קבצים במאגר, 153 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון apache-2.0, שמתיר שימוש מסחרי, שינוי קוד והפצה חופשית ללא תמלוגים. אם אתם משלבים אותו במוצר, אתם חייבים לצרף עותק של הרישיון המקורי ולציין את השינויים שביצעתם.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗