DeepSeek-R1-Distill-Qwen-14B-Uncensored-GGUF

קוד פתוח

mradermachermit2025-01-25

transformers
gguf
generated_from_trainer
en
endpoints_compatible

גרסת GGUF מכווצת למודל חשיבה של 14 מיליארד פרמטרים שעבר הסרת מגבלות. מורידים אותה כשרוצים להריץ לוקאלית מודל שמסרב פחות לבקשות רגישות או מורכבות.

95.0 GBמשקל הקבצים
10,884הורדות בחודש
164לייקים

מה זה

המודל הזה הוא כימות של nicoboss/DeepSeek-R1-Distill-Qwen-14B-Uncensored לקובצי GGUF סטטיים. הבסיס שלו משלב בין ארכיטקטורת Qwen ליכולות ההסקה של DeepSeek-R1, אבל עבר תהליך שנועד להסיר את מנגנוני הסירוב המובנים. מי שמחפש מודל בגודל בינוני שלא ייעצר מול שאלות מחקר, אבטחת מידע או נושאים שחסומים במודלים מסחריים רגילים, ימצא כאן מענה ישיר.

היוצר מציע כאן כימותים סטטיים במגוון רמות דיוק, לצד הפניה לקובצי imatrix בנפרד. אין בכרטיס תוצאות מדידה מספריות על בנצ'מרקים, אלא התמקדות באריזה של מודל קיים לפורמט שמתאים להרצה על מעבדים מקומיים ומאיצים גרפיים שונים.

מתאים ל

מחקר אבטחת מידע
ניתוח חולשות וקוד זדוני בלי שמנגנוני בטיחות סטנדרטיים יסרבו לטפל בטקסט.
הרצה מקומית על כרטיס יחיד
גרסאות ה־Q4 מאפשרות קבלת יכולות חשיבה של 14 מיליארד פרמטרים על חומרה ביתית.
עיבוד טקסט ללא סינון
מענה על שאילתות מורכבות בנושאים טעונים שהמודלים המקוריים נוטים לחסום.

איפה זה נופל

המודל מוגדר כמי שעבר הסרת מגבלות, מה שאומר שאין עליו פילטרים מובנים לבטיחות. אם משלבים אותו באפליקציה עם משתמשי קצה, אתם אחראים לבדוק שהוא לא פולט תוכן מסוכן או פוגעני. בנוסף, השפה המוגדרת בכרטיס היא אנגלית בלבד, כך שלא כדאי לבנות עליו למשימות מורכבות בעברית. הכימותים הקטנים ביותר, סביב 6 עד 7 גיגה, מאבדים מאיכות ההסקה של מודל הבסיס.

שאלות
נפוצות

איזו גרסה כדאי להוריד למחשב ביתי רגיל?

הגרסאות המומלצות בכרטיס הן Q4_K_M או Q4_K_S. הן שוקלות סביב 9 גיגה בייט, עובדות מהר ומציעות שיווי משקל טוב בין זיכרון לאיכות הפלט. אם המקום מוגבל מאוד אפשר לרדת ל־IQ4_XS שתופסת 8.3 גיגה בייט.

מה ההבדל בין הכימותים האלה לקובצי ה־imatrix שמוזכרים?

הקבצים בעמוד הנוכחי הם כימותים סטטיים רגילים. בדף השני שהיוצר קישר אליו יש קבצים שנוצרו עם מטריצת חשיבות, שיטה שלרוב שומרת טוב יותר על איכות המודל ברמות כיווץ נמוכות, אבל דורשת קבצים שונים.

איך מריצים

טוענים את קובצי ה־GGUF דרך כלי הרצה כמו llama.cpp. המשקלים מתחילים מגרסת Q2_K בגודל 5.9 גיגה בייט, ומגיעים עד Q8_0 ששוקלת 15.8 גיגה בייט. למי שמחפש איזון, הכרטיס ממליץ על Q4_K_S בגודל 8.7 גיגה בייט או Q4_K_M בגודל 9.1 גיגה בייט, ששתיהן רצות מהר ונכנסות בקלות לכרטיס מסך ביתי עם 12 או 16 גיגה זיכרון.

אם יש לכם פחות מ־8 גיגה זיכרון פנוי, תצטרכו לרדת לכימותים הנמוכים כמו Q3_K_M שנחשב פחות איכותי, או לוותר על הרצה מקומית ולפנות לשירותי ענן.

ollama run hf.co/mradermacher/DeepSeek-R1-Distill-Qwen-14B-Uncensored-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q8_015.7 GB Q6_K12.1 GB Q5_K_M10.5 GB Q5_K_S10.3 GB Q4_K_M9.0 GB Q4_K_S8.6 GB IQ4_XS8.2 GB Q3_K_L7.9 GB Q3_K_M7.3 GB Q3_K_S6.7 GB Q2_K5.8 GB

הקבצים

13 קבצים במאגר, 95.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

רישיון MIT. מותר להשתמש בו לצרכים מסחריים ופרטיים, לשנות אותו ולהפיץ אותו הלאה, כל עוד משאירים את הצהרת זכויות היוצרים המקורית של היוצר. אין הגבלות מיוחדות על שילוב במוצר.

שימוש מסחרי
שינוי הקוד
הפצה מחדש

הרישיון המלא בעמוד המודל ↗