NSFW_13B_sft-GGUF

קוד פתוח

mzwingapache-2.02024-02-23

gguf
baichuan
not-for-all-audiences
text-generation
zh

גרסת GGUF שעברה כיול לתוכן למבוגרים בסינית, מבוססת על Baichuan-13B. היא פונה למי שמחפש מודל שיחה וכתיבה יוצרת ללא מנגנוני סינון בסינית.

122 GBמשקל הקבצים
2,600הורדות בחודש
110לייקים

מה זה

מדובר בהמרה של המודל NSFW_13B_sft מאת zxbsmk לפורמט GGUF, תהליך שבוצע באמצעות מכונת מעבד חינמית ב־Google Colab. הבסיס הוא Baichuan-13B-Base שעבר כוונון ייעודי על מאגר נתונים בשם instruct_nsfw_cn באמצעות הכלי LLaMA-Efficient-Tuning. המטרה המרכזית שלו היא יצירת טקסט ללא סינון בנושאים למבוגרים בשפה הסינית, לצד מענה לשאלות כלליות.

במדד CMMLU בבדיקת Zero-shot המודל קיבל ציון כולל של 50.42, לעומת 48.86 של Baichuan-13B-Chat ו־53.22 של ChatGPT. במדעי הרוח הוא עמד על 54.85 ובמדעי החברה על 55.55, מעט מעל שניהם, אך במקצועות STEM הוא השיג רק 37.73 לעומת 44.80 של ChatGPT. המספרים מראים שביצועי השפה הכלליים בסינית נשמרו היטב ברמת מודל שיחה רגיל, בזמן שמנגנוני הסינון הוסרו עבור הנחיות בעלות אופי מיני.

מתאים ל

כתיבה יוצרת ללא צנזורה
מיועד להמשך כתיבת סיפורים ותכנים למבוגרים בסינית, היכן שמודלים מסחריים חוסמים את הפלט.
בוט שיחה ייעודי בסינית
מאפשר הרצת שיחה מקומית במבנה שאלות ותשובות ללא סינוני בטיחות על גבי חומרה ביתית.
מחקר על כוונון ללא סינון
מתאים לבחינת השפעת אימון על נתוני NSFW מול שמירה על ביצועים כלליים במבחני CMMLU.

איפה זה נופל

השפה המוגדרת היא סינית בלבד, והאימון הנוסף התמקד כולו בטקסטים בסינית. אין תיעוד ליכולות באנגלית ובוודאי שלא בעברית. היכולות במדעים מדויקים נמוכות במיוחד לפי מבחני CMMLU, שם הוא השיג 37.73 בלבד. דרישות הזיכרון המקסימליות בכל קובצי הכימות מוגדרות כלא בדוקות, והוא אינו מתאים למוצרים הפונים לקהל רחב עקב היעדר מוחלט של סינון תוכן.

שאלות
נפוצות

האם אפשר להשתמש במודל הזה לעברית?

לא. המודל אומן והוגדר עבור השפה הסינית בלבד על גבי בסיס Baichuan. אין לו תמיכה מתועדת בעברית, והוא לא יפיק תוצאות שמישות בשפה הזו.

איזה קובץ כדאי להוריד מתוך הרשימה?

הקובץ המאוזן והמומלץ ביותר הוא NSFW_13B_sft.Q4_K_M.gguf ששוקל 8.56 GB. אם יש לכם פחות מ־8 גיגה בייט זיכרון תוכלו לנסות את Q3_K_M ששוקל 6.85 GB, אך איכות הפלט תרד.

איך מריצים

את קובצי ה־GGUF מריצים ישירות בכלים כמו llama.cpp, text-generation-webui, LM Studio או ספריית ctransformers בפייתון. המאגר מכיל קבצים ברמות כימות שונות מ־2 ביט ועד 16 ביט, כאשר קובץ ה־Q4_K_M שוקל 8.56 GB והוא הגרסה המומלצת לאיזון בין איכות לגודל. דרישות הזיכרון לא נבדקו עדיין לפי יוצר המאגר, אך בפועל עבור 13 מיליארד פרמטרים בכימות 4 ביט תצטרכו לפחות 10 עד 12 גיגה בייט של זיכרון עבודה או זיכרון כרטיס מסך.

אם אין לכם חומרה ייעודית עם כרטיס מסך מתאים, המודל יעבוד לאט על מעבד בלבד. מכיוון שמדובר במודל שנוצר כדי לעקוף חסימות שקיימות במרבית ממשקי ה־API המסחריים, שירות ענן רגיל לא יספק את הפלט הזה, ולכן הרצה מקומית היא הברירה היחידה כאן.

ollama run hf.co/mzwing/NSFW_13B_sft-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

F1626.5 GB Q8_014.1 GB Q6_K11.6 GB Q5_K_M9.8 GB Q5_K_S9.3 GB Q5_09.2 GB Q4_K_M8.6 GB Q4_K_S7.9 GB Q4_07.5 GB Q3_K_L7.3 GB Q3_K_M6.8 GB Q3_K_S6.4 GB Q2_K5.6 GB

הקבצים

15 קבצים במאגר, 122 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון המדווח במאגר הוא apache-2.0, רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי והפצה, בתנאי של מתן קרדיט ושמירה על תנאי הרישיון המקוריים. עם זאת, יש לזכור שהמודל מתבסס על Baichuan-13B, וייתכן שיש לבדוק את תנאי השימוש של מודל הבסיס עצמו לפני הטמעה מסחרית.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗