Qwen2.5-14B_Uncensored_Instruct-GGUF

קוד פתוח

bartowskiapache-2.02024-09-22

gguf
text-generation
en
endpoints_compatible
conversational

גרסה מכווצת של מודל 14B ללא חסימות תוכן, שמתאימה להרצה מקומית על מחשב אישי. היא נותנת מענה ישיר למי שצריך מודל שלא מסרב לבקשות ולא תלוי בשרתים חיצוניים.

217 GBמשקל הקבצים
36,928הורדות בחודש
73לייקים

מה זה

מדובר בהמרה לפורמט GGUF של מודל שעבר הסרת מגבלות על בסיס Qwen2.5 בגודל 14 מיליארד פרמטרים. ההבדל המרכזי מול מודלי בסיס רגילים הוא היעדר מנגנוני סירוב מובנים, לצד דחיסה בשיטת imatrix שאמורה לשמר את איכות הטקסט גם ברמות כיול נמוכות.

המודל מיועד ליצירת טקסט באנגלית ומגיע במגוון רחב של רמות דיוק, ממשקל מלא של 29.55 גיגה בייט ועד לקבצים קטנים של כחמישה גיגה בייט. אין כאן מבחני ביצועים רשמיים בדף, כך שאיכות הפלט בפועל תלויה ישירות ברמת הכיווץ שתבחרו להוריד.

מתאים ל

כתיבה יצירתית ללא סינון
יצירת דיאלוגים וסיפורים שלא נעצרים על ידי פילטרים שמרניים של ספקי ענן.
בדיקות חוסן ואבטחה
בדיקה של יישומים מול קלטים עוינים כדי לוודא ששכבות ההגנה החיצוניות עושות את העבודה.
הרצה מקומית ומבודדת
עיבוד טקסט רגיש על מחשב בודד ללא חיבור לרשת וללא מעבר בשרתי צד שלישי.

איפה זה נופל

הכרטיס מצהיר על אנגלית בלבד, כך שאין להסתמך עליו בעברית בלי לבדוק אותו מראש. בנוסף, הסרת החסימות גורמת לכך שהמודל יפלוט מידע שגוי, בוטה או רעיל בלי שום מנגנון בקרה פנימי. המשמעות היא שכל שכבת סינון, אבטחה או בדיקת עובדות צריכה להיבנות בקוד שלכם מאפס.

שאלות
נפוצות

איזה קובץ הכי כדאי להוריד מהרשימה?

ברירת המחדל המומלצת לרוב השימושים היא Q4_K_M ששוקלת 8.99 גיגה בייט ומאזנת בין איכות לנפח. אם יש לכם כרטיס מסך עם מספיק זיכרון, גרסאות Q5_K_M או Q6_K יתנו דיוק גבוה יותר.

האם אפשר להשתמש בו במוצר מסחרי?

כן, הרישיון הוא apache-2.0 והוא מאפשר שימוש מסחרי מלא. עם זאת, בגלל שהמודל אינו מצונזר, חובה לבנות מנגנון סינון חיצוני כדי שהמוצר לא יפלוט תוכן פוגעני למשתמשי קצה.

איך מריצים

בשביל לקבל מהירות טובה, צריך לטעון את כל הקובץ לזיכרון כרטיס המסך. קובץ ברירת המחדל המאוזן, Q4_K_M, שוקל 8.99 גיגה בייט ודורש כרטיס עם 12 גיגה בייט זיכרון כדי להשאיר מקום להקשר. אם יש לכם פחות מזה, תצטרכו לרדת לגרסאות נמוכות כמו IQ3_M ששוקלת 6.92 גיגה בייט, או לתת לחלק לרוץ על זיכרון המחשב הכללי במחיר של איטיות מורגשת.

מריצים את הקבצים דרך LM Studio או llama.cpp ישירות. למי שיש שבב ARM, ישנן גרסאות ייעודיות כמו Q4_0_4_4 שנותנות שיפור ביצועים, אך אינן מיועדות לעיבוד דרך Metal של אפל. אם אין לכם חומרה ייעודית מקומית, החזקת מודל כזה עלולה לזחול.

ollama run hf.co/bartowski/Qwen2.5-14B_Uncensored_Instruct-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

27 קבצים במאגר, 217 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון המדווח הוא אנדרואיד מסוג apache-2.0. הוא מתיר שימוש מסחרי חופשי, שינוי הקוד והפצה, כל עוד שומרים על הודעת הרישיון המקורית והצהרות זכויות היוצרים במוצר שלכם.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗