DeepSeek-R1-Distill-Qwen-14B-abliterated-v2-GGUF
קוד פתוחQuantFactoryרישיון לא דווח2025-01-26
גרסה מכווצת של מודל החשיבה מבית דיפסיק, שעברה תהליך להסרת מנגנוני הסירוב והצנזורה. מי שמחפש מודל בגודל בינוני שיענה בלי לחסום בקשות, ימצא כאן מענה ישיר.
- 39.7 GBמשקל הקבצים
- 1,697הורדות בחודש
- 37לייקים
מה זה
הבסיס כאן הוא מודל מזוקק של דיפסיק על גבי ארכיטקטורת קוון עם 14B פרמטרים. יוצרי המקור ביצעו עליו מניפולציה להסרת סירובים, והגרסה הנוכחית היא המרה לפורמט GGUF באמצעות llama.cpp שנועדה להרצה מקומית. הרעיון הוא לשמר את יכולות פתרון הבעיות וההיגיון של מודל המקור, אבל לחתוך החוצה את השכבות שגורמות לו להטיף מוסר או לסרב לפקודות שנויות במחלוקת.
בכרטיס המקורי מודגש שמדובר בגרסה שנייה שבאה לתקן באגים מהניסיון הראשון. היוצרים מגדירים את השיטה כהוכחת היתכנות גסה למדי לנטרול סירובים. אין כאן נתוני מדידה מסודרים או מבחני ביצועים שמראים אם החשיבה נפגעה בדרך, כך שההבדל העיקרי מול מודל הבסיס הרגיל הוא פשוט העדר הצנזורה.
מתאים ל
- מחקר על עקיפת צנזורה
הוא נבנה כהוכחת היתכנות לנטרול סירובים, ומתאים למי שבודק איך מניפולציה כזו משפיעה על התשובות.
- הרצה מקומית ללא חסימות
הוא מגיע בפורמט GGUF ומאפשר לשאול שאלות מורכבות בלי שהמערכת תסרב לענות מסיבות של מדיניות.
- ניתוח טקסטים רגישים
טוב לעיבוד תוכן שמודלים מסחריים רגילים נוטים לחסום מיד בגלל מילות מפתח בעייתיות.
איפה זה נופל
יוצרי המודל מודים בעצמם שמדובר במימוש גס ובבדיקת היתכנות. כשעושים מניפולציה כזו למשקולות כדי לכפות הסרת סירובים, מודלים נוטים לפעמים לאבד קוהרנטיות, להזות יותר, או לפגוע ביכולת ההסקה המקורית. אם אתם בונים שירות שדורש אמינות גבוהה או כתיבת קוד מדויק, חובה לבדוק אותו מול מודל המקור הרגיל כדי לוודא שההסרה של מנגנוני הבטיחות לא שברה על הדרך את ההיגיון שלו.
שאלות
נפוצות
למה שהמודל הזה יתאים לי יותר מהגרסה הרגילה?
הוא מתאים רק אם נתקלתם בסירובים עקשניים במודל הבסיס של דיפסיק ואתם חייבים תשובות ישירות בלי צנזורה. אם המשימות שלכם סטנדרטיות, מודל המקור כנראה יציב ומדויק יותר ממנו.
איך אפשר להריץ אותו דרך אולמה?
עמוד המודל מציין שאפשר להריץ אותו ישירות דרך הפקודה עם המזהה של גרסת 14b באולמה. זה פותר את הצורך להתעסק ידנית בקובצי המשקולות או בהגדרות טעינה מסובכות.
איך מריצים
המודל מגיע כקבצי GGUF, מה שאומר שאפשר לטעון אותו ישירות בכלים כמו llama.cpp או להריץ דרך אולמה לפי ההנחיות בעמוד. סך כל הקבצים שוקל 39.7 GB והם מחולקים ל־6 קבצים נפרדים, כך שצריך לוודא שיש לכם מספיק זיכרון עבודה בכרטיס המסך או ב־RAM כדי להחזיק משקל כזה, תלוי ברמת הקוונטיזציה שבוחרים בפועל.
אם יש לכם מחשב ביתי ממוצע בלי כרטיס מסך מתאים, ההרצה תהיה איטית מאוד או שתתרסק. במצב כזה עדיף לשכור מכונה ייעודית בענן לכמה שעות או להשתמש במודל פתוח דרך שירות שמציע גישה מנוהלת, במקום להיאבק בהרצה מקומית כבדה.
ollama run hf.co/QuantFactory/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2-GGUF:Q4_K_M
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
6 קבצים במאגר, 39.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
היוצרים לא דיווחו על רישיון בעמוד המודל. מבחינה משפטית ומעשית, כל עוד אין רישיון כתוב ומפורש, אי אפשר לדעת מה מותר לעשות איתו. לא מומלץ לשלב אותו במוצר מסחרי או ביישום בארגון בלי לבדוק מה המעמד החוקי שלו ומה תנאי הרישיון של מודל הבסיס שממנו הוא נוצר.