Kunoichi-DPO-v2-7B-GGUF

קוד פתוח

brittlewis12cc-by-nc-4.02024-01-16

gguf
text-generation
en

גרסת קוונטיזציה של מודל שיחה מכוונן, שמתברגת חזק במבחני שיחה יחסית לגודל שלה. היא מיועדת למי שמחפש הרצה מקומית קלה בלי שרתים כבדים.

106 GBמשקל הקבצים
3,025הורדות בחודש
90לייקים

מה זה

מדובר במודל שבעה מיליארד פרמטרים שעבר אימון עם DPO, והומר לקובצי GGUF כדי לאפשר הרצה מקומית מהירה דרך llama.cpp או כלים ניידים. הדגש כאן הוא על איכות שיחה ויכולת מעקב אחרי הוראות מורכבות, תחום שבו מודלים קטנים נוטים להישבר מהר.

במבחני MT Bench הוא מגיע לציון 8.51, תוצאה שמציבה אותו מעל מודלים גדולים בהרבה כמו Mixtral 8x7B ברשימה וקרוב מאוד לגרסאות ישנות של שירותי ענן מסחריים. ב־AlpacaEval2 הוא מגיע ל־17.19%, שזה שווה לתוצאה של Claude 2, אם כי אורך התשובה הממוצע שלו גבוה יותר ומגיע ל־1785 תווים, מה שעשוי לרמוז על נטייה להאריך בדברים כדי לקלוע לטעם של בודקים אוטומטיים.

במבחני היגיון וידע כללי התמונה מאוזנת יותר. עם ציון של 0.58 במבחן הלוגיקה וציון ממוצע של 58.31 במבחני ידע כולל TruthfulQA ו־AGIEval, הוא נותן עבודה יציבה שמקבילה ל־7B מודרניים, אבל לא שובר את תקרת הזכוכית של הגודל הזה.

מתאים ל

עוזר שיחה מקומי באנגלית
מתאים למי שרוצה צ'אטבוט פרטי לחלוטין על המחשב או הנייד, שמספק כתיבה זורמת בלי לשלוח מידע לרשת.
משחקי תפקידים ויצירת תוכן
ציוני השיחה הגבוהים שלו הופכים אותו לטוב ביצירת דמויות, דיאלוגים וטקסטים יצירתיים שלא דורשים עובדות מדויקות.
בדיקת פרומפטים בסגנון אלפקה
תבנית ה־Alpaca המובנית מאפשרת להריץ עליו אוטומציות פשוטות של הוראה ותשובה בסביבת בדיקות מקומית.

איפה זה נופל

הנתונים מראים נפילה ברורה כשמגיעים להיגיון טהור. ציון של 0.58 בבדיקות לוגיקה ו־42.18 ב־EQ Bench מבהירים שהוא מיועד לסגנון כתיבה ושיחה ולא לחישובים, חילוץ מידע קפדני או פתרון בעיות מתמטיות. אם תתנו לו בעיית היגיון מרובת שלבים, הסיכוי להזיה גבוה.

בנוסף, המודל מוגדר באנגלית בלבד. בלי תמיכה מוצהרת בעברית, כל ניסיון לנהל איתו שיחה מקומית בשפה שלנו ייתקל באוצר מילים מוגבל, איטיות ושיבושים תחביריים קשים, מה שהופך אותו ללא רלוונטי למוצרים בעברית.

שאלות
נפוצות

אפשר להשתמש במודל הזה בתוך אפליקציה בתשלום שאני מפתח?

לא. הרישיון המוגדר הוא cc-by-nc-4.0, שאוסר במפורש שימוש מסחרי מכל סוג שהוא. אם יש לכם מודל עסקי או שהמוצר שלכם עולה כסף, תצטרכו לחפש מודל עם רישיון אפאצ'י או MIT.

האם כדאי להוריד אותו בשביל לכתוב צ'אטבוט בעברית?

ממש לא. המודל אומן ותועד עבור השפה האנגלית בלבד. הוא לא יטפל טוב בדקדוק עברי, יתבלבל בהטיות מילים וייצר טעויות תכופות, כך שעדיף לפנות למודלים עם התאמה מוכחת לעברית או להשתמש ב־API מסחרי.

איך מריצים

המודל מופץ כקבצי GGUF, מה שאומר שאפשר להריץ אותו ישירות דרך llama.cpp או אפליקציות צד לקוח כמו cnvrs על מכשירי אפל. בשביל להריץ גרסה מכווצת שלו תצטרכו כרטיס מסך עם לפחות שמונה עד עשרה גיגה זיכרון גרפי, או מחשב מק עם זיכרון מאוחד דומה כדי לקבל מהירות כתיבה סבירה בלי נפילות ל־CPU.

המאגר מכיל 30 קבצים בנפח כולל של 106 גיגה, שמכילים רמות קוונטיזציה שונות. אתם לא מורידים את כל התיקייה אלא בוחרים קובץ בודד לפי כמות הזיכרון שיש לכם בפועל, החל מגרסאות מכווצות מאוד ועד גרסאות מלאות יותר.

ollama run hf.co/brittlewis12/Kunoichi-DPO-v2-7B-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

30 קבצים במאגר, 106 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון cc-by-nc-4.0. המשמעות ברורה, אסור להשתמש בו לצרכים מסחריים, לא בתוך מוצר שמוכרים ללקוחות, לא כחלק משירות בתשלום ולא לצורך הפקת רווח ישיר. הרישיון דורש גם מתן קרדיט ליוצר המקורי, והוא מתאים אך ורק למחקר, ניסויים אישיים או פרויקטים פנימיים ללא כוונת רווח.

שינוי הקוד
חובת ייחוס
שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗