Tifa-Deepsex-14b-CoT-Q8
קוד פתוחValueFX9507apache-2.02025-02-04
התאמה ייעודית של מודל החשיבה DeepSeek-R1-14B למשחקי תפקידים וכתיבת פרוזה. הוא עבר חיזוק כדי לפתור את היובש והסירובים של מודל המקור בשיחות עלילתיות.
- 43.9 GBמשקל הקבצים
- 1,759הורדות בחודש
- 190לייקים
מה זה
מדובר בגרסת מחקר שמתבססת על DeepSeek-R1-14B, שעברה כוונון מקיף על 0.4 טריליון טוקנים של ספרות עלילתית לצד עשרות אלפי דוגמאות מודל Tifa ונתוני R1 המקוריים. המפתחים השתמשו באימון על גבי שמונה מעבדי H20 במטרה לפתור את נקודת התורפה המרכזית של R1, חוסר יכולת לייצר רצף עלילתי משכנע ונטייה לערבב שפות. התוצאה היא מודל שמחזיק אוצר מילים עשיר יותר בדיאלוגים ספרותיים, ממעט לסרב לבקשות של המשתמש, ומשלב תהליך חשיבה מפורט לפני הפלט הסופי.
בניגוד למודלים סטנדרטיים של 14 מיליארד פרמטרים שמיועדים לקוד או שיחה כללית, הדגש כאן הוא כתיבה ארוכה וניהול דמויות. המודל שומר על תבנית החשיבה של מודלי היסק, אבל מנתב אותה לטובת ניתוח מניעים של דמויות ותיאורי סביבה. הכרטיס מציין תמיכה בהקשר של עד 128k טוקנים, אם כי תהליך האימון בפועל התבצע על רצפים של 16k טוקנים.
מתאים ל
- משחקי תפקידים בטקסט
הוא אומן להחזיק אישיות של דמות, להימנע מסירובים גנריים ולייצר תיאורים ספרותיים עשירים.
- סיוע בכתיבת פרוזה
אימון ההמשך על 0.4T טוקנים של ספרות מקנה לו שטף עלילתי גבוה בסיפורים ארוכים.
- מחקר על תהליכי חשיבה
בדיקת ההשפעה של אלגוריתמי תגמול וחיזוק על שרשראות היסק בתוך תרחישים בדיוניים.
איפה זה נופל
הגרסה הספציפית הזו מוגדרת כדגם אימות ראשוני, והמפתחים מציינים במפורש שהפלט שלו גמיש אך אינו נשלט ונוטה להתפזר. קיימת בעיה של חזרתיות סביב קלטים קצרים כמו 'המשך', פערים מורגשים בין תוכן תהליך החשיבה לפלט הסופי, וסיכון לשיבוש השיחה אם לא מנקים ידנית את תגיות החשיבה מההיסטוריה לפני כל פנייה נוספת. הוא אינו מתאים בשום אופן למתמטיקה, כתיבת קוד או שליפת עובדות.
שאלות
נפוצות
האם המודל תומך בעברית כשפת מקור?
המודל הוגדר ואומן עבור סינית ואנגלית בלבד. פנייה בעברית לא נתמכת רשמית ותניב פלטים משובשים או חוסר הבנה של ההקשר.
למה התשובות בצ'אט הופכות למבולבלות אחרי כמה הודעות?
המודל דורש הסרה קפדנית של תגיות החשיבה מהיסטוריית השיחה. אם הקוד שלכם לא מוחק את תוכן הבלוק לפני שליחת הבקשה הבאה, המודל מאבד את ההקשר ומתחיל לחזור על עצמו.
איך מריצים
המשקל הכולל של הקבצים מגיע ל־43.9 גיגה בייט בפורמט הנוכחי, מה שמחייב כרטיס מקצועי של 48 גיגה זיכרון גרפי לפחות, או פיצול על גבי כמה כרטיסים ביתיים חזקים. מי שמריץ מקומית ישתמש בספריית transformers עם הגדרות הדגימה שעליהן המפתחים ממליצים: טמפרטורה נמוכה של 0.4, top_p של 0.6 ועונש חזרתיות של 1.17.
אם אין לכם חומרה ייעודית שיושבת במשרד או בבית, אין היגיון כלכלי לשכור שרת ייעודי רק בשבילו. הפתרון הפרקטי לחומרה צנועה הוא לחפש את גרסאות ה־GGUF המכווצות שהמפתחים פרסמו בנפרד, או לחכות לגרסאות קלות יותר כמו דגם ה־7B שהובטח.
ollama run hf.co/ValueFX9507/Tifa-Deepsex-14b-CoT-Q8:Q8
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
7 קבצים במאגר, 43.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון המוצהר במאגר הוא apache-2.0, שמאפשר שימוש מסחרי, שינוי והפצה של המשקלים. עם זאת, המפתחים מציינים בטקסט שיש לפעול לפי תנאי השימוש של פלטפורמת Tifa ולציית לחוקי זכויות יוצרים של תכני המקור ששימשו לאימון, נקודה שמייצרת סיכון משפטי ומחייבת בדיקה מקדימה לפני הטמעה במוצר מסחרי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים