NeuralDaredevil-8B-abliterated-GGUF

קוד פתוח

QuantFactoryother2024-05-29

gguf
dpo
text-generation
model-index
endpoints_compatible

גרסה מכווצת של מודל שמונה מיליארד פרמטרים שעבר הסרת מגבלות תוכן. הוא שומר על ביצועים גבוהים במבחנים בלי לסרב לפקודות שספקי ענן מסננים.

67.7 GBמשקל הקבצים
2,901הורדות בחודש
98לייקים

מה זה

מדובר במודל שנוצר דרך אימון DPO על בסיס Daredevil-8B-abliterated עם סט הנתונים orpo-dpo-mix-40k באפוק אחד. התהליך הזה נועד להחזיר את היכולות שהלכו לאיבוד בזמן תהליך ה־abliteration, שבו מוחקים רשתות שגורמות למודל לסרב לשאלות. התוצאה היא מודל לא מצונזר שמחזיר תשובות ישירות בלי מנגנוני הבטיחות הרגילים.

במבחני ביצועים הוא עוקף את Llama 3 8B המקורי של מטא וגרסאות Instruct שלו. במבחני Nous הוא מוביל עם ממוצע של 55.87 לעומת 51.34 של Llama 3 Instruct, ורושם 59.36 ב־TruthfulQA מול 51.65. המשמעות בשטח היא פחות הזיות מהמקור למרות היעדר הצנזורה, והוא מצליח להוביל בציון MMLU בקטגוריית המודלים הלא מצונזרים בגודל הזה.

מתאים ל

משחקי תפקידים וכתיבה
מתאים לסימולציות ודמויות שלא כבולות למנגנוני סירוב ופוליטיקלי קורקט.
מחקר אבטחה ובדיקות חוסן
עוזר לבדוק הנחיות תקיפה ושאילתות שמודלים רגילים מסרבים לעבד מיד.
סוכן מקומי ללא הגבלות
מריץ פקודות ישירות בלי שהמודל יסרב לנתח טקסטים רגישים או בוטים.

איפה זה נופל

היוצר מציין במפורש שהמודל מתאים לשימושים שלא דורשים ישור קו ובטיחות, מה שאומר שהוא ייצר תוכן פוגעני, מסוכן או שגוי בלי להתריע. אם המערכת שלכם פונה למשתמשי קצה ודורשת עמידה ברגולציה או מניעת שיח רעיל, המודל הזה עלול לפלוט דברים שלא תרצו במוצר שלכם.

שאלות
נפוצות

האם המודל יסרב לשאלות מסוכנות או רגישות?

לא. המודל עבר תהליך הסרת צנזורה שמנטרל את מנגנוני הסירוב המובנים. הוא יענה על רוב השאלות וההנחיות ישירות בלי להציג אזהרות מוסריות.

איך מגדירים אותו נכון בתוך LM Studio?

טוענים את קובץ ה־GGUF שבחרתם ומפעילים אותו תחת ההגדרה המובנית של Llama 3. תבנית הפרומפט הזו תואמת לאופן שבו המודל אומן ותפיק תוצאות נכונות.

איך מריצים

המודל מגיע בפורמט GGUF שמיועד להרצה ישירה עם llama.cpp, מה שמאפשר להפעיל אותו בקלות בתוכנות מקומיות כמו LM Studio בעזרת הפרופיל של Llama 3. הקבצים בעמוד שוקלים בסך הכל 67.7 גיגה בייט ומחולקים ל־16 רמות כימות שונות, כך שאתם מורידים רק קובץ בודד שמתאים לגודל הזיכרון שלכם.

גרסאות מכווצות של 8B רצות בנוחות על כרטיסי מסך ביתיים עם שמונה או שנים עשר גיגה בייט VRAM, או אפילו על מעבד רגיל עם מספיק זיכרון מערכת. אם אתם צריכים תשובות ללא סינונים ורוצים שליטה מלאה במידע שלא יזלוג החוצה, הרצה מקומית כאן פשוטה מאוד ולא דורשת שרתים יקרים.

ollama run hf.co/QuantFactory/NeuralDaredevil-8B-abliterated-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q8_08.5 GB Q6_K6.6 GB Q5_16.1 GB Q5_K_M5.7 GB Q5_05.6 GB Q5_K_S5.6 GB Q4_15.1 GB Q4_K_M4.9 GB Q4_K_S4.7 GB Q4_04.7 GB Q3_K_L4.3 GB Q3_K_M4.0 GB Q3_K_S3.7 GB Q2_K3.2 GB

הקבצים

16 קבצים במאגר, 67.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון בעמוד מוגדר כ־other ללא פירוט של תנאים מסחריים או חופש שימוש. מאחר שמדובר בנגזרת של מודלים קודמים שעברו שינויים, צריך לבדוק את תנאי המקור של משפחת Llama 3 ושל המודל המקורי לפני שמשלבים אותו במוצר מסחרי.

הרישיון המלא בעמוד המודל ↗