Huihui-gpt-oss-20b-BF16-abliterated-v2

מה זה

המודל הזה עבר תהליך הסרת עכבות ממוקד באמצעות אימון על הוראות שנחשבות לרוב כפוגעניות. המטרה כאן ברורה, לייצר כלי שמגיב להוראות ישירות בלי מנגנוני הבטיחות הרגילים שגורמים למודלים מסחריים לסרב למשתמש. היוצרים מציינים שהאימון הציג התכנסות טובה כבר אחרי ארבע מאות צעדים, עם פער מזערי בין נתוני האימון לנתוני הבדיקה, מה שמצביע על שמירה על יכולת ההכללה של הבסיס.

הייחוד המשמעותי נמצא בשילוב שבין גודל בינוני של עשרים ואחד מיליארד פרמטרים לבין תמיכה בחלון הקשר של מאה שלושים ואחד אלף טוקנים. זה מאפשר להזין לו מסמכים ארוכים במיוחד או היסטוריית שיחה מורכבת, בלי לחשוש מסירובים או צנזורה עצמית.

מתאים ל

• מחקר אבטחה ובדיקות חדירה

  המודל אינו חוסם בקשות רגישות, ומאפשר סימולציה של תרחישי תקיפה ובדיקת עמידות של מערכות.

• ניתוח טקסטים ללא צנזורה

  מתאים לסריקת מסמכים משפטיים או תכנים קשים שכוללים שפה בוטה, מבלי שהמודל יסרב לעבד אותם.

• עיבוד מסמכים ארוכים

  חלון הקשר של מאה שלושים ואחד אלף טוקנים מאפשר ניתוח של קבצים מסיביים והשוואת מקורות מרובים.

איפה זה נופל

היוצרים מזהירים במפורש מעלייה בנורמת הגרדיאנטים בשלבי האימון המאוחרים, מה שעלול להצביע על חוסר יציבות או פיצוץ גרדיאנטים שמשפיע על איכות הפלט. מעבר לכך, ביטול מנגנוני הבטיחות אומר שאין כאן שום הגנה מובנית מפני פלטים פוגעניים, רעילים או שגויים. שילוב של המודל במוצר שפונה לקהל הרחב מחייב בדיקות קפדניות ומערכת סינון חיצונית כדי למנוע נזק.

אותה משפחה

Huihui-gpt-oss-20b-BF16-abliterated יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

משקל המשקולות הגולמיות מגיע למאה עשרים וחמישה גיגה בייט, כך שהרצה ישירה בפורמט המקורי דורשת חומרת שרתים עם זיכרון גרפי כבד. למי שלא מחזיק חומרה תעשייתית, קיימת גרסת קוונטיזציה של ארבעה ביט בפורמט של ג׳י ג׳י יו אף, שמתאימה להרצה מקומית דרך אולמה או דרך לאמה סי פי פי במחשבים אישיים חזקים.

אם אתם צריכים את המודל רק לבדיקות מזדמנות, החזקה של שרת ייעודי עבור קבצים במשקל כזה תהיה יקרה וכבדה לתחזוקה. במקרה כזה, עדיף להשתמש בגרסאות המכווצות מקומית או לשקול פתרונות ענן לפי צריכה.

ollama run hf.co/huihui-ai/Huihui-gpt-oss-20b-BF16-abliterated-v2:BF16

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

28 קבצים במאגר, 125 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• GGUF/Huihui-gpt-oss-20b-BF16-abliterated-v2-f16.gguf41.9 GB
• GGUF/Huihui-gpt-oss-20b-BF16-abliterated-v2-q8_0.gguf22.3 GB
• GGUF/Huihui-gpt-oss-20b-BF16-abliterated-v2-Q4_K_M.gguf15.8 GB
• GGUF/Huihui-gpt-oss-20b-BF16-abliterated-v2-Q3_K_M.gguf12.9 GB
• model-00005-of-00009.safetensors4.9 GB
• model-00006-of-00009.safetensors4.9 GB
• model-00007-of-00009.safetensors4.9 GB
• model-00008-of-00009.safetensors4.9 GB
• model-00004-of-00009.safetensors4.9 GB
• model-00002-of-00009.safetensors4.9 GB
• model-00003-of-00009.safetensors4.9 GB
• model-00001-of-00009.safetensors4.5 GB
• model-00009-of-00009.safetensors2.8 GB
• tokenizer.json27.9 MB
• training_metrics_plot.png694.7 KB
• modelopt_state.pth140.6 KB
• model.safetensors.index.json33.6 KB
• chat_template.jinja15.1 KB
• rng_state.pth14.6 KB
• training_args.bin6.2 KB
• trainer_state.json6.1 KB
• README.md5.1 KB
• tokenizer_config.json4.2 KB
• .gitattributes2.0 KB
• config.json1.6 KB
• scheduler.pt1.5 KB
• special_tokens_map.json440 B
• generation_config.json165 B

הרישיון

הפרויקט מפורסם ברישיון אפאצ׳י שתיים נקודה אפס. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הקוד והפצה מחדש, גם במוצרים סגורים. התנאי העיקרי הוא שמירה על הצהרת זכויות היוצרים המקורית וציון השינויים שביצעתם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗