Tifa-DeepsexV2-7b-MGRPO-GGUF-Q4

קוד פתוח

ValueFX9507apache-2.02025-02-13

transformers
gguf
incremental-pretraining
sft
reinforcement-learning

גרסה מכווננת של Qwen2.5 בנפח 7 מיליארד פרמטרים, שנבנתה למשחקי תפקידים וכתיבה עלילתית. המפתח שילב שרשראות חשיבה ואלגוריתם תגמול ייעודי כדי להפחית סירובים ולשפר את הסגנון הספרותי.

30.3 GBמשקל הקבצים
4,213הורדות בחודש
230לייקים

מה זה

בסיס המודל נשען על Qwen2.5-7B, אך עבר אימון מקדים נוסף על 0.1 טריליון טוקנים של רומנים, לצד כוונון עם שרשראות חשיבה ואלגוריתם חיזוק בשם MGRPO. המטרה כאן ברורה, פתרון בעיית היובש והסירובים המובנים במודלים כלליים, תוך כיוון ישיר ליצירת דיאלוגים מורכבים וטקסט עם אופי ספרותי בסינית ובאנגלית. עברית אינה חלק מנתוני האימון הרשמיים, כך שאין לצפות לביצועים סבירים בשפה המקומית.

היוצר יישם פונקציות תגמול שבודקות עקביות של הדמות במרחב הווקטורי, איכות כתיבה מול יצירות קיימות, ואפילו שמירה על אנטומיה תקינה בטקסט. במקום להסתפק בהוראות פשוטות, המודל מנתח את התנהגות הדמות בתוך תגיות חשיבה ייעודיות לפני שהוא מייצר את התשובה הגלויה. לפי התיעוד מדובר בגרסת בדיקה מוקדמת שנשענת על שבעה אחוזים בלבד מתהליך האימון המתוכנן, אך נטען שהיא כבר מפגינה עומק דמויות שמתחרה במשקלים כבדים יותר.

מתאים ל

משחקי תפקידים בצ'אט
אימון ייעודי להפחתת סירובים ושמירה על קול עקבי של הדמות לאורך שיחה.
כתיבה עלילתית בסינית
חשיפה למאגר רומנים נרחב ושימוש בפונקציות תגמול ספרותיות.
חקר שרשראות חשיבה בדיאלוג
ניתוח האופן שבו תגיות חשיבה פנימיות משפיעות על איכות הטקסט היצירתי.

איפה זה נופל

זהו אינו כלי למשימות פרודוקטיביות. המודל אינו מתאים לחישובים מתמטיים, כתיבת קוד, מענה עובדתי קצר או שליפת מידע מדויק. התיעוד מציין במפורש נטייה להזיות, רגישות פוליטית שנאכפה חלקית בלבד, ונטייה של החיזוק לקחת את הטקסט למקומות דרמטיים ומוגזמים. בנוסף, מדובר במודל ניסיוני שנמצא בתחילת שלבי האימון שלו.

שאלות
נפוצות

האם המודל תומך בעברית?

האימון הרשמי כולל סינית ואנגלית בלבד. המודל הבסיסי מכיר מעט שפות נוספות, אך התוספות והכוונון היצירתי לא נעשו בעברית.

מדוע המודל מפסיק לענות בהיגיון אחרי כמה הודעות?

הארכיטקטורה דורשת לנקות את תגיות החשיבה מתשובות המודל לפני שליחת ההיסטוריה לסבב הבא. אם הממשק שלכם שומר את הבלוק המלא, המודל מתבלבל ומייצר פלט שגוי.

האם גרסת Q4 מספיקה לשימוש שוטף?

היא עובדת וחסכונית במשאבים, אך היוצר מציין במפורש שיש בה ירידת ביצועים משמעותית וממליץ לעבוד עם גרסת Q8 ומעלה.

איך מריצים

קובץ ה־GGUF ברמת דיוק Q4 מיועד להרצה מקומית קלה על גבי llama.cpp או סביבות תואמות, ותופס נפח זיכרון וידאו צנוע שמתאים לכרטיסי מסך ביתיים עם שמונה גיגה זיכרון. עם זאת, היוצר מציין במפורש שברמת Q4 חל אובדן איכות מורגש, וממליץ לעבור לקובצי Q8 או F16 אם החומרה שלכם מאפשרת זאת.

מי שמשתמש בממשקים קיימים ייתקל במכשול טכני. המודל מחייב הסרה מוחלטת של תגיות החשיבה מההיסטוריה שנשלחת חזרה בסבב הבא, אחרת הדיאלוג נשבר לחלוטין. אם אין לכם רצון לתקן את קוד הפרונטנד בעצמכם או להחזיק משאבי חישוב ייעודיים, עדיף להיעזר בהדגמת הרשת שפרסם היוצר.

ollama run hf.co/ValueFX9507/Tifa-DeepsexV2-7b-MGRPO-GGUF-Q4:Q4_KM

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q4_KM4.7 GB Q4_KM4.7 GB Q4_KM4.7 GB Q4_KM4.7 GB Q4_KM4.7 GB Q4_KM4.7 GB Q4_KM4.5 GB

הקבצים

12 קבצים במאגר, 30.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מדווח תחת רישיון apache-2.0 המאפשר שימוש מסחרי, שינוי והפצה של הקוד והמשקלים. לצד זאת, בעמוד המודל מופיעה דרישה לציית לתנאי השימוש של פלטפורמת Tifa החיצונית עבור נתוני משחק התפקידים, עובדה שיוצרת אי בהירות משפטית לגבי שילוב חופשי במוצר מסחרי סגור.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗