uncensoredai_UncensoredLM-DeepSeek-R1-Distill-Qwen-14B-GGUF

קוד פתוח

bartowskiapache-2.02025-02-02

gguf
text-generation
endpoints_compatible
imatrix
conversational

גרסה מכווצת של מודל החשיבה DeepSeek-R1 בגודל 14B, שעברה הסרת מגבלות כדי לענות על כל שאלה. היא מיועדת למי שצריך תהליכי הסקת מסקנות מקומיים בלי חסימות תוכן תאגידיות.

263 GBמשקל הקבצים
3,278הורדות בחודש
44לייקים

מה זה

מדובר בהמרה של bartowski לפורמט GGUF עבור המודל UncensoredLM-DeepSeek-R1-Distill-Qwen-14B שיצרו uncensoredai. הבסיס הוא מודל שזוקק מהיכולות של DeepSeek-R1 על גבי ארכיטקטורת Qwen בגודל 14 מיליארד פרמטרים, אבל עם דגש על הסרת מנגנוני הצנזורה והסירוב המובנים. המטרה כאן היא לתת למודל לנמק ולפתור בעיות מורכבות בלי לעצור ולהודיע שהוא מסרב לענות.

הקובץ המקורי כוּוץ באמצעות llama.cpp בגרסה b4585 וטכניקת imatrix שמצמצמת את הפגיעה באיכות הטקסט. הדף כולל מגוון רחב מאוד של רמות דיוק, החל ממשקלים מלאים ועד כימותים אגרסיביים של שני ביט. בכרטיס המודל מופיעה טבלת ביצועים עבור מודל אחר לגמרי, qwen2 3B, כך שאין כאן שום מדד ביצועים רשמי או השוואת איכות שמציגים איך גרסת ה־14B הזו ספציפית מתנהגת במבחנים.

מתאים ל

מחקר וניתוח תוכן רגיש
מאפשר לעבד ולנתח טקסטים שמודלים מסחריים רגילים מסרבים לגעת בהם בגלל פילטרים.
פתרון בעיות לוגיות במחשב
ניצול יכולות הזיקוק של DeepSeek-R1 על חומרה מקומית בעלת זיכרון של 12 עד 16 ג'יגה.
יצירת תוכן ללא הגבלות
כתיבה חופשית לחלוטין שאינה תלויה במדיניות שימוש של שירותי ענן חיצוניים.

איפה זה נופל

הסרת הצנזורה מגיעה עם מחיר כבד של אמינות. כשמנטרלים מגבלות בטיחות במודל חשיבה, עולה משמעותית הסיכוי להזיות, לקבלת מידע שגוי בביטחון מלא ולפגיעה באיכות שרשרת ההיגיון. בנוסף, גרסאות הכימות הנמוכות ביותר מציגות פגיעה ברורה ביכולת הניסוח, והכרטיס מגדיר את גרסאות ה־Q3 וה־Q2 כבעלות איכות נמוכה מאוד שלא מומלצת למי שמחפש דיוק.

שאלות
נפוצות

איזה קובץ כדאי להוריד מתוך הרשימה?

עבור רוב השימושים, הגרסה המאוזנת ביותר היא Q4_K_M ששוקלת 8.64 ג'יגה-בייט. אם כרטיס המסך שלכם כולל 16 ג'יגה זיכרון ומעלה, עדיף לקחת את Q5_K_M או Q6_K לקבלת דיוק גבוה יותר.

האם אפשר להריץ את המודל על מעבד בלבד ללא כרטיס מסך?

כן, llama.cpp תומכת בהרצה על מעבדי מחשב רגילים. עם זאת, בגלל גודל המודל מהירות הפקת הטקסט תהיה איטית משמעותית ביחס לכרטיס מסך ייעודי.

איך מריצים

כדי שההרצה תהיה מהירה באמת, המודל כולו צריך לשבת בתוך זיכרון ה־VRAM של כרטיס המסך. לגרסת ברירת המחדל המומלצת, Q4_K_M, תצטרכו להוריד קובץ של 8.64 ג'יגה-בייט, מה שאומר שכרטיס מסך עם 12 ג'יגה זיכרון יחזיק אותו בקלות יחד עם ההקשר. אם יש לכם כרטיס עם 16 ג'יגה, אפשר לעלות לגרסאות Q5 או Q6_K_M ששוקלות בין 10 ל־12 ג'יגה-בייט ומספקות איכות קרובה למקור.

אפשר להריץ את הקבצים ישירות בתוך LM Studio או דרך llama.cpp, וחשוב להגדיר ידנית את תבנית הפרומפט הספציפית של המודל כדי שהתשובות לא ישתבשו. מדרגות הכימות הנמוכות יותר, כמו סדרת ה־IQ2 ששוקלת סביב 4.5 עד 5 ג'יגה-בייט, מיועדות לחומרה חלשה יותר או מעבדים, אבל עלולות להאט את הקצב אם המעבד לא תומך בהוראות המתאימות. במקרים שבהם אין לכם כרטיס מסך מתאים וצריך תגובות מהירות, עדיף לפנות למודל מרוחק דרך API.

ollama run hf.co/bartowski/uncensoredai_UncensoredLM-DeepSeek-R1-Distill-Qwen-14B-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

30 קבצים במאגר, 263 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי ואישי, מאפשר לשנות את הקוד והמשקלים, ולשלב אותם במוצרים סגורים. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והצהרת הרישיון המקורית בקבצים שמפיצים.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗