DeepSeek-R1-Distill-Qwen-7B-Uncensored-i1-GGUF

קוד פתוח

mradermachermit2025-01-21

transformers
gguf
generated_from_trainer
en
endpoints_compatible

גרסת כימות של מודל הסקת מסקנות בגודל 7B שעבר הסרת מגבלות תוכן. הוא מיועד למי שרוצה חשיבה מונחית בלי סירובים מלאכותיים על חומרה מקומית.

82.8 GBמשקל הקבצים
9,994הורדות בחודש
93לייקים

מה זה

מדובר בהמרה לפורמט GGUF של המודל הלא מצונזר מאת nicoboss, שמבוסס במקור על שילוב של ארכיטקטורת Qwen עם זיקוק הידע של DeepSeek R1. הייחוד העיקרי כאן הוא הסרת חסמי הבטיחות הסטנדרטיים, לצד שימוש בכימות מבוסס imatrix שנועד לצמצם את אובדן הדיוק במעבר למספרים שלמים קטנים יותר.

בניגוד לגרסאות ברירת מחדל שמסרבות לענות על נושאים רגישים או שאלות אבטחה, המודל הזה עונה ישירות ומציג את שרשרת החשיבה שלו. ההבדל המשמעותי לעומת מודלים סטנדרטיים בגודל 7 מיליארד פרמטרים הוא ההתמקדות בהסקה לוגית מפורטת, אם כי כרטיס המודל לא מציג מבחני ביצועים כמותיים מסודרים כדי להוכיח כמה מהיכולת המקורית נשמרה בכימותים האגרסיביים.

מתאים ל

מחקר אבטחת מידע
ניתוח חולשות בקוד ללא סירובים אוטומטיים שמקובלים במודלים מסחריים מוגנים.
הסקה לוגית מקומית
הרצת שרשראות חשיבה מורכבות על מחשב נייד רגיל בעזרת קובץ קטן של כ־4.8 גיגה.
יצירת תוכן חופשי
כתיבה יצירתית או עיבוד טקסטים ללא מגבלות נושא וסינוני תוכן ארגוניים.

איפה זה נופל

המודל מוגדר רשמית לשפה האנגלית בלבד. בעברית הוא צפוי לגמגם, להמציא מילים או לעבור לאנגלית באמצע שרשרת ההסקה. בנוסף, הסרת הסינון אומרת שהוא לא מסנן שום פלט, כולל תוכן פוגעני, מידע שגוי בביטחון גבוה או קוד בעייתי. אין כאן מנגנון בקרה מובנה וכל הבדיקות נופלות ישירות עליכם לפני שמחברים אותו לצינור עבודה אמיתי.

שאלות
נפוצות

איזו גרסה כדאי להוריד מהרשימה?

הגרסאות המומלצות הן Q4_K_M בגודל 4.8 גיגה בייט או Q4_K_S בגודל 4.6 גיגה בייט, שמציעות את היחס הנכון בין מהירות לאיכות. יוצר המודל ממליץ על גרסאות ה־IQ כאשר יורדים מתחת ל־4 ביט, ומציין מפורשות שגרסאות ה־IQ1 מיועדות רק למצבים נואשים של חוסר זיכרון.

האם המודל יבין הנחיות בעברית?

המאגר מוגדר רשמית עבור אנגלית בלבד. אף על פי שמודלי הבסיס של Qwen כוללים מעט תמיכה רב לשונית, בגרסה הזו לא נעשתה התאמה לעברית, ולכן לא מומלץ לבנות עליו לעיבוד שפה מקומית.

איך מריצים

המשקל הכולל של כל הקבצים במאגר מגיע ל־82.8 גיגה בייט, אבל אתם מורידים רק קובץ יחיד לפי הצורך. הקבצים נעים בין 2.0 גיגה בייט לגרסאות IQ1 הקיצוניות ועד 6.4 גיגה בייט לגרסת Q6_K. לרוב המשתמשים מומלץ לבחור ב־Q4_K_M ששוקל 4.8 גיגה בייט או ב־Q4_K_S של 4.6 גיגה בייט, שדורשים כרטיס מסך בסיסי עם 6 עד 8 גיגה בייט זיכרון כדי לרוץ במהירות סבירה.

אם יש לכם מחשב ישן בלי מאיץ גרפי מתאים, או שאתם צריכים זמן תגובה מיידי בריבוי משתמשים, עדיף להשתמש במודל ענן במקום להסתבך עם הגרסאות הקטנות מדי כמו IQ1 שהיוצר עצמו הגדיר כפתרון לנואשים בלבד.

ollama run hf.co/mradermacher/DeepSeek-R1-Distill-Qwen-7B-Uncensored-i1-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

27 קבצים במאגר, 82.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון המדווח במאגר הוא MIT, שזה רישיון מתירני מאוד שמאפשר שימוש מסחרי, שינוי קוד והפצה חופשית ללא תשלום תמלוגים. עם זאת, צריך לזכור שמדובר בשרשרת של מודלים שמבוססת על Qwen ו־DeepSeek, ולכן כדאי לוודא שהרישיונות של מודלי המקור לא מטילים תנאים נוספים על תוצרי הזיקוק שלהם.

שימוש מסחרי
שינוי הקוד
הפצה מחדש

הרישיון המלא בעמוד המודל ↗