Lexi-Llama-3-8B-Uncensored-GGUF

קוד פתוח

bartowskillama32024-04-24

gguf
uncensored
llama3
instruct
open

גרסה מכווצת של לאמה 3 ללא מגבלות סינון ותוכן, שמתאימה להרצה מקומית מלאה. היא עונה על כל שאלה בלי לחסום או להטיף מוסר.

83.4 GBמשקל הקבצים
6,546הורדות בחודש
55לייקים

מה זה

מדובר בהמרה של המודל Lexi-Llama-3-8B-Uncensored לפורמט GGUF, שמיועד לעבודה ישירה דרך llama.cpp. המקור עבר התאמה שמסירה את מעצורי הבטיחות הרגילים שמטא מכניסה למודלים שלה, כך שהוא לא מסרב לבקשות ולא מתחמק מנושאים שנויים במחלוקת. הגרסאות כאן נוצרו עם imatrix כדי לצמצם את אובדן הדיוק שקורה בדחיסה רגילה.

בגודל של שמונה מיליארד פרמטרים, המודל הזה מחזיר תשובות מהירות ומבין הקשר בצורה טובה מאוד. ההבדל המרכזי מול מודלים רגילים באותו סדר גודל הוא הגישה הישירה. הוא לא מתנצל, לא מעביר הרצאות על אתיקה, ופשוט עונה על מה ששלחתם לו בפרומפט לפי הפורמט המובנה של לאמה 3.

מתאים ל

כתיבה יצירתית חופשית
יצירת סיפורים ותסריטים עם קונפליקטים מורכבים בלי שהמודל יסרב לייצר עלילה דרמטית.
עוזר מקומי פרטי
מענה ישיר ומדויק על שאלות טכניות ואישיות ישירות מהחומרה שלכם בלי סינון.
בדיקות חוסן לקלט
בדיקה איך מערכות סינון צד שלישי מגיבות לטקסטים גולמיים ולא מצונזרים.

איפה זה נופל

בגלל שהסירו ממנו את מנגנוני הסינון, הוא עלול לייצר תוכן פוגעני, שגוי או רעיל בלי שום אזהרה מוקדמת. אסור לסמוך עליו במוצר שפונה לקהל רחב בלי לבנות שכבת בדיקות משלכם מסביב. בנוסף, בגרסאות המאוד מכווצות, כמו אלה שיורדות מתחת ל־3 גיגה בייט בפורמטים של IQ1 או IQ2, יש ירידה מורגשת באיכות התשובות וההיגיון הלשוני נפגע.

שאלות
נפוצות

איזה קובץ הכי כדאי להוריד מתוך הרשימה?

הקובץ המאוזן ביותר הוא Q4_K_M במשקל 4.92 גיגה בייט. הוא שומר על איכות טקסט גבוהה מאוד ונכנס בלי בעיה ברוב כרטיסי המסך המודרניים. אם יש לכם שפע זיכרון, לכו על Q6_K.

האם המודל תומך בעברית בצורה טובה?

הבסיס הוא לאמה 3 שמכיר עברית ברמה סבירה לשיחות פשוטות, אבל זה לא מודל שאומן במיוחד לשפה זו. הוא מסוגל לקרוא ולכתוב עברית, אך הביצועים שלו באנגלית טובים ומדויקים בהרבה.

איך מריצים

בשביל להריץ אותו כמו שצריך, אתם צריכים כרטיס מסך עם מספיק זיכרון שיחזיק את הקובץ במלואו ועוד גיגה או שניים פנויים לתקורה. הגרסאות המומלצות כמו Q4_K_M שוקלות סביב 4.92 גיגה בייט, כך שכרטיס עם 8 גיגה זיכרון יריץ אותן מהר מאוד. אם יש לכם כרטיס חלש יותר או מעבד בלבד, אפשר לרדת לגרסאות I-quant קטנות יותר כמו IQ3_M שתופס 3.78 גיגה בייט, אבל הן דורשות תמיכה של cuBLAS או rocBLAS ויהיו איטיות יותר על מעבד רגיל.

אם אתם לא רוצים להסתבך עם הגדרות מקומיות או שאין לכם חומרה ייעודית, עדיף להשתמש בשרת ענן חיצוני. מנגד, היתרון פה הוא שאין שום צנזורה, מה שקשה למצוא בשירותי ענן מסחריים שחוסמים בקשות רגישות.

ollama run hf.co/bartowski/Lexi-Llama-3-8B-Uncensored-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

25 קבצים במאגר, 83.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא רישיון llama3 של מטא. מותר להשתמש בו לצרכים מסחריים כל עוד אין לכם מעל 700 מיליון משתמשים פעילים בחודש, אבל אתם כפופים למדיניות השימוש ההוגן של מטא, מה שיוצר שטח אפור משפטי כשמשתמשים במודל שהוסרו ממנו מגבלות הבטיחות.

שימוש מסחרי עד 700 מיליון משתמשים
שינוי הקוד
חובת ייחוס

הרישיון המלא בעמוד המודל ↗