DeepSeek-R1-Distill-Qwen-32B-Uncensored-GGUF

קוד פתוח

mradermachermit2025-01-26

transformers
gguf
generated_from_trainer
en
endpoints_compatible

גרסה מכווצת בפורמט GGUF של מודל 32B שעבר זיקוק והסרת מגבלות תוכן. היא מיועדת למי שמחפש הרצה מקומית של יכולות היסק בלי סינונים מובנים.

209 GBמשקל הקבצים
6,134הורדות בחודש
97לייקים

מה זה

המאגר הזה מציע המרות סטטיות בפורמט GGUF למודל של nicoboss, המבוסס על סדרת הזיקוק של DeepSeek R1 בשילוב ארכיטקטורת Qwen בגודל 32 מיליארד פרמטרים. ההבדל המרכזי מול גרסאות רגילות של אותו המודל הוא תווית ה־Uncensored, שמעידה על ניסיון לעקוף או למחוק את שכבות הסירוב והאיפוק שמגיעות במקור.

דף המודל עצמו לא מציג מבחני ביצועים, בנצ'מרקים או מדדי דיוק על משימות ספציפיות, אלא מתרכז בהנגשת קובצי המשקולות בגדלים שונים. הוא מתאים למי שצריך מודל חשיבה חופשי ממחסומים ורוצה לשלוט ישירות בתשובות בלי התערבות של ספק חיצוני.

מתאים ל

מחקר על תגובות ללא סינון
הסרת המגבלות מאפשרת לבחון איך מודל היסק מגיב לשאילתות שיוצרות סירוב במודלים מסחריים.
הרצה מקומית על כרטיס 24GB
גרסאות ה־Q4 נכנסות לנפח של 20 גיגה בייט ומאפשרות עבודה על חומרה מקומית חזקה.
עיבוד טקסטים רגישים באופליין
הרצת GGUF שומרת את המידע על המחשב בלי צורך באינטרנט או תלות במדיניות של שירותי ענן.

איפה זה נופל

הכרטיס מציין במפורש שגרסאות כמו Q3_K_M מגיעות עם ירידה באיכות התוצרים. בנוסף, אין בדף שום פירוט על האופן שבו בוצעה הסרת המגבלות, ולכן קיים סיכון גבוה לפגיעה ביכולות ההיגיון, הזיות מוגברות או שבירת תהליך המחשבה של המודל המקורי. השפה היחידה שמדווחת במאגר היא אנגלית, כך שאין שום הבטחה לתמיכה סבירה בעברית לפני שבודקים את זה בפועל.

שאלות
נפוצות

איזו גרסה כדאי להוריד מתוך הרשימה?

עבור רוב השימושים המאזנים בין ביצועים למקום, ההמלצה בכרטיס היא Q4_K_M בנפח 19.9 גיגה בייט או Q4_K_S. אם החומרה חלשה יותר אפשר לרדת ל־IQ4_XS, אך מומלץ להימנע מגרסאות Q3 ומטה שמורידות את איכות הפלט.

האם המודל יודע לעבוד בעברית?

השפה היחידה שמוגדרת במאפייני המודל היא אנגלית. בסיס ה־Qwen כולל לעיתים תמיכה רב לשונית מסוימת, אבל אין שום התחייבות רשמית או בדיקה שמציגה יכולת עבודה תקינה בעברית.

איך מריצים

משקלי הקבצים נעים בין 12.4 גיגה בייט בגרסת Q2_K החלשה ועד 34.9 גיגה בייט בגרסת Q8_0 האיכותית ביותר. מפרסם המודל ממליץ על הגרסאות Q4_K_S בנפח 18.9 גיגה בייט או Q4_K_M בנפח 19.9 גיגה בייט, שמספקות ריצה מהירה ביחס לגודל. כדי להריץ את גרסאות ה־Q4 בנוחות בזיכרון וידאו מלא צריך כרטיס עם לפחות 24 גיגה בייט VRAM, או פיצול הזיכרון ל־RAM רגיל על חשבון מהירות היצירה.

אם יש צורך ברמת דיוק גבוהה יותר בלי לשלם על שרת ייעודי חזק, גרסת Q6_K שדורשת 27 גיגה בייט או Q8_0 כבר יחייבו מערך של שני כרטיסי מסך או חומרה יקרה יותר, ובמצב כזה שווה לבדוק אם פנייה ל־API מרוחק לא תהיה זולה ופשוטה יותר.

ollama run hf.co/mradermacher/DeepSeek-R1-Distill-Qwen-32B-Uncensored-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q8_034.8 GB Q6_K26.9 GB Q5_K_M23.3 GB Q5_K_S22.6 GB Q4_K_M19.8 GB Q4_K_S18.8 GB IQ4_XS17.9 GB Q3_K_L17.2 GB Q3_K_M15.9 GB Q3_K_S14.4 GB Q2_K12.3 GB

הקבצים

13 קבצים במאגר, 209 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מפורסם תחת רישיון MIT. מדובר ברישיון מתירני שמאפשר שימוש מסחרי, שינוי קוד והפצה של המשקלים בתוך מוצר, בתנאי ששומרים על הודעת זכויות היוצרים המקורית.

שימוש מסחרי
שינוי הקוד
הפצה מחדש

הרישיון המלא בעמוד המודל ↗