Qwen3.8-27B-Uncensored-IQ4-XS-MTP-16GB-VRAM-GGUF
קוד פתוחBucoidapache-2.02026-08-16
גרסה מכווצת ללא חסימות של מודל 27B, שמיועדת להיכנס בדיוק לכרטיס מסך בודד של 16GB. היא מיועדת למי שמחפש חלון הקשר ארוך ומענה ישיר בלי מנגנוני סינון מובנים.
- 13.0 GBמשקל הקבצים
- 112,547הורדות בחודש
- 43לייקים
מה זה
הקובץ שוקל 12.9 גיגה בייט ומבוסס על כיול IQ4_XS של ארבעה ביט. המטרה כאן היא לדחוס מודל של 27 מיליארד פרמטרים לחומרה ביתית נפוצה, בלי להקריב יותר מדי את דיוק הפלט. לפי המדידות, רמת הבלבול הממוצעת עומדת על 7.1481 עם התאמה של מעל 99 אחוז לבסיס המקורי, והסכמת הטוקן המוביל מגיעה ל־91.655 אחוזים מול גרסת המקור.
בבדיקות מול גרסת UD_IQ3_K_XL בנפח דומה של 12.5 גיגה בייט, המודל הזה מציג שינויי הסתברות נמוכים יותר ופיזור שגיאות מקסימלי קטן יותר, מה שאומר פחות קפיצות מוזרות בתשובות. עם זאת, היוצר עצמו מציין בעמוד שמדובר בתוצאה בינונית למדי, וכבר הוציא גרסה אחרת שמבוססת על שיטה שונה ומתפקדת טוב יותר.
מתאים ל
- ניתוח מסמכים ארוכים
מאפשר טעינת טקסטים של עד 110 אלף טוקנים ישירות לזיכרון של כרטיס 16GB בודד.
- עבודה ללא צנזורה
מתאים למחקר או כתיבה יוצרת שבהם חסימות תוכן אוטומטיות עוצרות את תהליך העבודה.
- סביבת פיתוח מקומית
נותן יכולת לבדוק שאילתות מורכבות על שרת מקומי בלי להוציא מידע לרשת חיצונית.
איפה זה נופל
החיסרון הבולט מגיע ישירות מהמפתח שלו, שכותב בגלוי שהמודל יצא חלש ומומלץ בכלל להוריד גרסה אחרת המבוססת על Ara. בנוסף, הסרת הסינונים דורשת זהירות כי אין כאן שכבות הגנה מפני יצירת תוכן בעייתי. אם אתם בונים מוצר שפונה ללקוחות קצה, תצטרכו לבדוק בעצמכם כל פלט ולוודא שהתשובות עקביות ולא סוטות מההוראות.
שאלות
נפוצות
האם כרטיס מסך רגיל שמחובר למסך במחשב יספיק פה?
לא בטוח בכלל. היוצר מציין במפורש שהזיכרון צריך להיות פנוי לגמרי. אם חלונות לוקחת לעצמה גיגה בייט או שניים עבור תצוגה, המודל ייחנק ולא יגיע לחלון ההקשר המובטח.
למה שהיוצר ימליץ לא להוריד את המודל שלו?
הוא גילה שטכניקת אימון אחרת נותנת תוצאות טובות יותר באותו נפח. הוא פרסם קישור למודל משופר ומגדיר את הקובץ הנוכחי כפחות מוצלח, כך ששווה לבדוק קודם את הגרסה החדשה.
איך מריצים
צריך כרטיס מסך עם 16GB זיכרון ייעודי, בתנאי שהוא לא מריץ את המסך של מערכת ההפעלה במקביל. אם המודל יושב לבד על הכרטיס בלי תכונת MTP, אפשר להגיע לחלון הקשר של כ־110 אלף טוקנים. כשמפעילים MTP, ההקשר המעשי יורד לאזור ה־80 אלף טוקנים כדי להשאיר מקום בזיכרון.
אם אין לכם כרטיס עם 16GB נקיים או שאתם עובדים על מחשב נייד רגיל, חבל על הזמן. במקרה כזה זול ופשוט יותר להשתמש ב־API מרוחק של ספק ענן במקום לקנות חומרה יקרה.
ollama run hf.co/Bucoid/Qwen3.8-27B-Uncensored-IQ4-XS-MTP-16GB-VRAM-GGUF:IQ4_XS_4BPW
הקבצים
3 קבצים במאגר, 13.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון המוגדר הוא אפאצ'י 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו מחדש, כל עוד שומרים על הודעות זכויות היוצרים ומצרפים את נוסח הרישיון המקורי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים