Qwen2.5-7B-Instruct-Uncensored-GGUF
קוד פתוחmradermachergpl-3.02024-10-11
גרסה מכווצת של מודל שבעה מיליארד פרמטרים שעבר הסרת סינונים. הוא מיועד למי שצריך מודל קל להרצה מקומית שלא מסרב לבקשות ולא נתקע במנגנוני בטיחות.
- 63.5 GBמשקל הקבצים
- 8,753הורדות בחודש
- 39לייקים
מה זה
מדובר בהמרה לפורמט GGUF של עיבוד שביצע Orion-zhen על בסיס קוון 2.5 המקורי. המטרה המרכזית בגרסה הזו היא להוריד את מעצורי הסירוב המובנים, כך שהמודל יענה על שאלות והנחיות שספקי ענן חוסמים כברירת מחדל.
בניגוד לגרסאות מקוריות שנוטות להטיף או לסרב לפקודות רגישות, הוא אמור לספק תשובה ישירה לפי ההוראות שלכם. הכרטיס מציע מגוון כיבוצים סטטיים, החל מרמות דחיסה אגרסיביות של שני ביט ועד למשקל המלא. התמיכה בשפות מתמקדת באנגלית, סינית, ספרדית ועוד כמה שפות אירופיות ורוסית, בלי הצהרה על תמיכה רשמית בעברית.
מתאים ל
- מחקר אבטחה
הוא לא חוסם שאלות על חולשות אבטחה או קוד זדוני, ומאפשר לבדוק תרחישי התקפה באופן מקומי.
- כתיבה יצירתית ללא סינון
הוא עונה על תסריטים ונושאים אפלים בלי לסרב או להטיף מוסר כמו מודלים מסחריים.
- הרצה מקומית על לפטופ
גרסאות ה־4 ביט שוקלות פחות מחמישה גיגה ורצות מצוין על כרטיסי מסך ביתיים צנועים.
איפה זה נופל
ההסרה של מנגנוני הסירוב משאירה אתכם בלי שום רשת ביטחון, מה שאומר שהוא עלול לפלוט תוכן פוגעני, שגוי או מסוכן בלי להזהיר. דחיסות נמוכות כמו Q3_K_M מוגדרות מראש כבעלות איכות ירודה, ורמות של שני ביט מאבדות לחלוטין את חדות המחשבה. בנוסף, עברית לא מופיעה ברשימת השפות הנתמכות, כך שהיא לא תעבוד טוב בלי לבדוק אותה מראש לעומק.
שאלות
נפוצות
איזה קובץ הכי כדאי להוריד מהרשימה?
עדיף ללכת על Q4_K_M ששוקל 4.8 גיגה בייט, כי הוא מציע את האיזון הטוב ביותר בין מהירות זיכרון לאיכות פלט. אם יש לכם הרבה זיכרון פנוי, Q8_0 ייתן את האיכות הגבוהה ביותר מבין הגרסאות המכווצות.
האם המודל מבין וכותב בעברית?
הכרטיס מפרט שפות כמו אנגלית, סינית, צרפתית וספרדית, ועברית אינה חלק מהן. הוא עשוי לפלוט מילים בודדות אם נתקל בהן באימון המקורי של קוון, אך הביצועים יהיו נמוכים ולא אמינים.
איך מריצים
בשביל להריץ אותו צריך תוכנה שתומכת בקובצי GGUF, כמו llama.cpp או סביבות דומות. רוב הקבצים נעים בין 3.1 גיגה בייט לגרסאות הדחוסות מאוד ועד 8.2 גיגה בייט לגרסת שמונה ביט, כאשר הקובץ הלא דחוס שוקל 15.3 גיגה בייט.
הגרסאות המומלצות והמהירות הן Q4_K_M במשקל 4.8 גיגה בייט או Q4_K_S במשקל 4.6 גיגה בייט, שדורשות כרטיס מסך עם לפחות שישה עד שמונה גיגה זיכרון כדי לרוץ חלק. אם החומרה שלכם חלשה מדי או שאין לכם כרטיס מתאים, מודל כזה יזחל על מעבד בלבד, אבל במקרה הזה אין שירות ענן רשמי עם אותה הסרת סינונים שתקראו לו פשוט ב־API.
ollama run hf.co/mradermacher/Qwen2.5-7B-Instruct-Uncensored-GGUF:Q4_K_M
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
14 קבצים במאגר, 63.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
- Qwen2.5-7B-Instruct-Uncensored.f16.gguf15.2 GB
- Qwen2.5-7B-Instruct-Uncensored.Q8_0.gguf8.1 GB
- Qwen2.5-7B-Instruct-Uncensored.Q6_K.gguf6.3 GB
- Qwen2.5-7B-Instruct-Uncensored.Q5_K_M.gguf5.4 GB
- Qwen2.5-7B-Instruct-Uncensored.Q5_K_S.gguf5.3 GB
- Qwen2.5-7B-Instruct-Uncensored.Q4_K_M.gguf4.7 GB
- Qwen2.5-7B-Instruct-Uncensored.Q4_K_S.gguf4.5 GB
- Qwen2.5-7B-Instruct-Uncensored.IQ4_XS.gguf4.3 GB
- Qwen2.5-7B-Instruct-Uncensored.Q3_K_L.gguf4.1 GB
- Qwen2.5-7B-Instruct-Uncensored.Q3_K_M.gguf3.8 GB
- Qwen2.5-7B-Instruct-Uncensored.Q3_K_S.gguf3.5 GB
- Qwen2.5-7B-Instruct-Uncensored.Q2_K.gguf3.0 GB
- README.md3.9 KB
- .gitattributes2.5 KB
הרישיון
המודל מסומן ברישיון gpl-3.0. מדובר ברישיון קוד פתוח עם תנאי שיתוף הדדי, שמחייב אתכם לחשוף את קוד המקור של כל מערכת שתפיצו ומשלבת אותו. מי שבונה מוצר סגור ומסחרי צריך להיזהר מאוד לפני שהוא דוחף את הקבצים האלה לתוכו.