Qwen3.8-27B-exl3

קוד פתוח

turboderpapache-2.02026-08-14

exl3

גרסאות מכווצות בפורמט EXL3 למודל של 27 מיליארד פרמטרים. מקבלים מודל חזק שרץ מקומית על כרטיסי מסך ביתיים בלי לדרוש שרת ייעודי.

10.6 MBמשקל הקבצים
3,425הורדות בחודש
108לייקים

מה זה

מדובר בהמרה של Qwen3.8-27B לפורמט EXL3 שפיתח turboderp, עם חלוקה לכמה רמות דיוק החל מ־1.40 ביט ועד 6.00 ביט למשקל. הדף מציע גרסאות רגילות לצד גרסאות עם כיול עצמי, וגם גרסאות שמכווצות את רכיב הראייה.

במקום להסתפק בהורדה רגילה של משקלים כבדים, הדף מציג קובצי מעקב של כיול והערכה לצד גרפים שמשווים בין אובדן המידע, הבלבול בטקסט וצריכת זיכרון הווידאו. מה שמיוחד כאן הוא המדרג הדק, שמאפשר לבחור בדיוק את רמת הדחיסה שמשאירה את המודל חי על החומרה שיש לכם ביד.

מתאים ל

הרצה מקומית על כרטיס יחיד
מאפשר לדחוס מודל 27B למעבד גרפי ביתי באמצעות בחירת רמת ביט נמוכה.
עיבוד תמונה וטקסט מקומי
גרסאות הראייה המכווצות מתאימות להרצת משימות מולטימודל בלי ענן.
סביבות פיתוח לא מקוונות
מתאים לתחנות עבודה מבודדות שדורשות יכולות ניתוח בלי חיבור לרשת.

איפה זה נופל

בדחיסות הקיצוניות של 1.40 עד 1.80 ביט איבוד המידע מורגש, והגרפים בעמוד מראים קפיצה ברורה בבלבול ובשגיאות. בנוסף, גרסאות הראייה דורשות גרסה ספציפית מאוד של ExLlamaV3, ואם תריצו אותן על תשתית ישנה יותר הן פשוט לא יפעלו כמו שצריך. צריך לבדוק היטב שהתשובות בעברית או משימות חשיבה מורכבות לא נשברות ברמות הכיווץ הנמוכות לפני שמעבירים משתמשים לשם.

שאלות
נפוצות

מה ההבדל בין גרסאות SC לגרסאות הרגילות?

גרסאות SC עברו כיול עצמי שמכוון לשמור על דיוק טוב יותר בנפח נתון. הגרסאות הרגילות הן המרות סטנדרטיות לפי רמות ביט קבועות מ־2.00 עד 6.00.

למה גרסת הראייה לא עובדת לי?

הכרטיס מציין במפורש שהגרסאות שמכילות V דורשות את ExLlamaV3 מגרסה v1.4.4 ומעלה. אם המנוע שלכם לא מעודכן, המודל לא יפעל תקין.

איך מריצים

כדי לעבוד עם הגרסאות שמכווצות גם את רכיב הראייה, הכרטיס מציין במפורש שחובה להשתמש ב־ExLlamaV3 בגרסה v1.4.4 ומעלה. אתם בוחרים את הענף המתאים לפי נפח הזיכרון בכרטיס המסך שלכם, מורידים את המשקלים ומריצים דרך המנוע של turboderp.

היתרון של המבנה הזה הוא היכולת לבחור בגרסאות הנמוכות כמו 2.00 או 3.00 ביט כדי להכניס מודל 27B לכרטיסים של 16 או 24 גיגה זיכרון. אם אין לכם חומרת אנבידיה מתאימה או שאתם צריכים רק שאילתות בודדות ביום בלי לתחזק סביבה מקומית, פשוט תפנו ל־API חיצוני.

pip install -U huggingface_hub
hf download turboderp/Qwen3.8-27B-exl3

הקבצים

20 קבצים במאגר, 10.6 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו הלאה, כל עוד שומרים על הודעת הרישיון וזכויות היוצרים המקוריות.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗