LLaMA2-13B-Psyfighter2-GGUF

קוד פתוח

KoboldAIllama22023-11-14

gguf
endpoints_compatible

מיזוג מבוסס LLaMA 2 בגודל 13B שנבנה במיוחד לכתיבת פרוזה ומשחקי תפקידים. הוא משלב מעט ידע אנטומי ונפשי כדי לתאר מצבים וגוף בדיוק גבוה יותר בתוך סיפורים.

133 GBמשקל הקבצים
2,023הורדות בחודש
99לייקים

מה זה

המודל הזה הוא תוצר של מיזוג מורכב דרך mergekit בשיטת task_arithmetic. הבסיס הוא Tiefighter הפופולרי של KoboldAI, שאליו הוסיפו במינונים קטנים מאוד שני מודלים של Doctor-Shotgun במטרה להכניס מושגים רפואיים, אנטומיים ותיאורי מצב נפשי ישירות לתוך כתיבה בדיונית. שאר שרשרת המיזוג כוללת עשרות עיבודים קודמים של LLaMA 2, מודלי שיחה, מתאמי תפקידים ואימוני הרפתקאות.

המטרה כאן היא יצירתיות ואלתור, ולא דיוק עובדתי. בגלל בליל המודלים שבפנים, הוא עובד מצוין בסגנון Alpaca אבל מקבל גם פורמטים אחרים בלי להישבר. יוצרי המיזוג מציינים בפירוש שמשפטי רקע קצרים עובדים איתו טוב יותר מאשר עומס של פסקאות תיאוריות, כי הוא יודע להשלים פערי דמויות בעצמו.

מתאים ל

כתיבת סיפורים בהמשכים
הוא ממשיך טקסטים בדיוניים ומאלתר עלילה בצורה חופשית בלי צורך בהנחיות ארוכות מדי.
משחקי הרפתקה וטקסט
כולל נתונים ממודל Skein ומגיב היטב לפקודות עם קידומת חץ להובלת עלילה אינטראקטיבית.
משחקי תפקידים ודמויות
מטפל בשיחות מבוססות דמות ומציג תיאורי גוף ותחושות עשירים יחסית למודלים אחרים בגודלו.

איפה זה נופל

יוצרי המודל מזהירים במפורש לא להשתמש בו בשום אופן לייעוץ רפואי או תמיכה נפשית. שיעור המידע הרפואי שמוזג פנימה נמוך מאוד ביחס לחומר הבדיוני, והסיכוי שהוא ימציא נתונים רפואיים מוחלט. בנוסף, נתוני משחקי ההרפתקאות שלו נוטים לפעמים לזלוג להנחיות רגילות, ובמצב משחק לוקח לו לעיתים שניים או שלושה סבבים של תיקון ידני עד שהוא נכנס לקצב הנכון.

שאלות
נפוצות

האם אפשר להשתמש במודל כבוט תמיכה נפשית או רפואית?

חד משמעית לא. הכרטיס מדגיש שהתוכן הרפואי הוכנס רק כדי להעשיר תיאורים בעלילה ספרותית. המודל נוטה להמציא עובדות ויספק מידע שגוי ומסוכן אם יישאל על בעיות אמיתיות.

איזה פרומפט עובד איתו הכי טוב?

הוא נבדק בעיקר בתבנית Alpaca וגם במצב שיחה רגיל של KoboldAI. אם רוצים לשחק בסגנון הרפתקה מבוססת טקסט, מומלץ להשתמש בקידומת של סימן גדול מ כדי להגדיר פעולות של השחקן.

איך מריצים

קבצי GGUF נועדו להרצה מקומית בכלים כמו llama.cpp או KoboldCPP. מודל 13B דורש לרוב כרטיס מסך עם לפחות 12GB עד 16GB זיכרון כדי לרוץ בצורה חלקה בקוונטיזציה בינונית, או שילוב של זיכרון מערכת וכרטיס מסך במחיר של מהירות יצירה אטית יותר.

המאגר כולל 17 קבצים בנפח כולל של 133 GB שמכסים רמות דחיסה שונות, מגרסאות קלות ועד כבדות ומדויקות יותר, כך שלא צריך להוריד את הכל אלא רק קובץ בודד שמתאים למגבלות החומרה שלכם. אם אין לכם חומרה ייעודית מקומית ואתם רק צריכים מענה טקסטואלי גנרי, עדיף להשתמש ב־API מסחרי.

ollama run hf.co/KoboldAI/LLaMA2-13B-Psyfighter2-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

F1626.0 GB Q8_013.8 GB Q6_K10.7 GB Q5_19.8 GB Q5_K_M9.2 GB Q5_09.0 GB Q5_K_S9.0 GB Q4_18.2 GB Q4_K_M7.9 GB Q4_K_S7.4 GB Q4_07.4 GB Q3_K_L6.9 GB Q3_K_M6.3 GB Q3_K_S5.7 GB Q2_K5.4 GB

הקבצים

17 קבצים במאגר, 133 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון Llama 2 של מטא. הרישיון מתיר שימוש מסחרי ומחקר, אך כפוף למגבלות השימוש המקובלות של מטא ומחייב ייחוס. אם המוצר שלכם מגיע ליותר מ־700 מיליון משתמשים פעילים בחודש, תצטרכו לבקש רישיון מיוחד ממטא.

שימוש מסחרי עד 700 מיליון משתמשים
שינוי הקוד
חובת ייחוס

הרישיון המלא בעמוד המודל ↗