LLaMA2-13B-Tiefighter-GGUF
קוד פתוחKoboldAIllama22023-10-18
מיזוג רב-שכבתי שמיועד לכתיבה יצירתית, משחקי תפקידים ואינטראקציות טקסט עלילתיות. הוא נבנה כדי לאלתר טוב יותר כשנותנים לו פחות פרטים טכניים ויותר חופש פעולה.
- 139 GBמשקל הקבצים
- 4,320הורדות בחודש
- 110לייקים
מה זה
המודל הזה נולד מסדרה ארוכה של מיזוגים. הבסיס שלו מתחיל במודל Xwin-MLewd, שעליו מוזגו שני מתאמי LoRA שונים, אחד למשחקי הרפתקאות בסגנון בחרו בעצמכם את ההרפתקה והשני לכתיבת סיפורים. בשרשרת המקורות שלו נמצאים עשרות מודלים קהילתיים שונים שהוטמעו בהדרגה, מה שמעניק לו מנעד רחב מאוד של סגנונות כתיבה.
המטרה העיקרית פה היא אלתור עלילתי. בניגוד למודלי 13B רגילים שמנסים לעקוב בדייקנות אחרי הגדרות דמות ארוכות, הוא עובד הכי טוב כשמשאירים לו מרחב. אם מעמיסים עליו פסקאות שלמות של רקע הוא נוטה ללכת לאיבוד, אבל בהנחיות קצרות ופשוטות הוא מייצר דיאלוגים וסיפורים שנשמעים טבעיים ומשכנעים.
מתאים ל
- כתיבת סיפורים בהמשכים
אפשר להדביק טקסט קיים והוא ימשיך את העלילה מאותה נקודה בלי צורך בהגדרות מורכבות.
- משחקי הרפתקה מבוססי פקודות
הוא אומן על נתוני משחקי עלילה ומגיב היטב לפקודות קצרות שמתחילות בסימן חץ.
- בוטים למשחקי תפקידים
מתאים לשיחות עם דמויות כל עוד לא מעמיסים עליו רקע ארוך ומאפשרים לו לאלתר.
איפה זה נופל
זה לא מודל למשימות דיוק או שליפת מידע אמיתי. המפתחים מבהירים במפורש שהמידע שהוא פולט יכול להיות מומצא לגמרי, ושדאטה של משחקי הרפתקאות עלול לזלוג גם כשמבקשים ממנו משימות רגילות. בנוסף, במצב הרפתקה הוא לא תמיד מבין מיד מה רוצים ממנו ודורש תיקון ידני בשלושת הסיבובים הראשונים עד שהוא מתיישר על הפורמט.
אותה משפחה
LLaMA2-13B-Tiefighter יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם אפשר להשתמש במודל הזה כעוזר למשימות יומיומיות?
לא מומלץ. למרות שהוא תומך בפורמטים של הוראות כמו Alpaca, המיקוד שלו הוא בדיוני לגמרי והוא נוטה להמציא עובדות בלי להתבלבל.
למה המודל מתעלם מפרטים שהגדרתי לדמות?
הוא בנוי לעבוד עם מינימום פרטים. העמסה של פסקאות רקע ארוכות פוגעת בביצועים שלו, ועדיף להשתמש בהנחיה תמציתית של כמה שורות בלבד.
איך מריצים
הקבצים מוגשים בפורמט GGUF ומיועדים בראש ובראשונה להרצה מקומית דרך KoboldCpp. מודל 13B מכווץ דורש בדרך כלל בין שמונה לעשרה גיגה-בייט של זיכרון כרטיס מסך כדי לרוץ בצורה חלקה, בהתאם לרמת הקוונטיזציה שתורידו.
מי שמתכנן להריץ את זה על מעבד רגיל ירגיש איטיות משמעותית ביצירת טקסט ארוך. במקרים שאין בהישג יד חומרה מתאימה, פנייה לשרת מרוחק עדיפה בהרבה על פני המתנה של דקות ארוכות לכל פסקה.
ollama run hf.co/KoboldAI/LLaMA2-13B-Tiefighter-GGUF:Q4_K_M
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
18 קבצים במאגר, 139 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
- LLaMA2-13B-Tiefighter.F16.gguf26.0 GB
- LLaMA2-13B-Tiefighter.Q8_0.gguf13.8 GB
- LLaMA2-13B-Tiefighter.Q6_K.gguf10.7 GB
- LLaMA2-13B-Tiefighter.Q5_1.gguf9.8 GB
- LLaMA2-13B-Tiefighter.Q5_K_M.gguf9.2 GB
- LLaMA2-13B-Tiefighter.Q5_0.gguf9.0 GB
- LLaMA2-13B-Tiefighter.Q5_K_S.gguf9.0 GB
- LLaMA2-13B-Tiefighter.Q4_1.gguf8.2 GB
- LLaMA2-13B-Tiefighter.Q4_K_M.gguf7.9 GB
- LLaMA2-13B-Tiefighter.Q4_K_S.gguf7.4 GB
- LLaMA2-13B-Tiefighter.Q4_0.gguf7.4 GB
- LLaMA2-13B-Tiefighter.IQ4_XS.gguf7.0 GB
- LLaMA2-13B-Tiefighter.Q3_K_L.gguf6.9 GB
- LLaMA2-13B-Tiefighter.Q3_K_M.gguf6.3 GB
- LLaMA2-13B-Tiefighter.Q3_K_S.gguf5.7 GB
- LLaMA2-13B-Tiefighter.Q2_K.gguf5.4 GB
- README.md6.0 KB
- .gitattributes1.6 KB
הרישיון
הרישיון הוא רישיון LLaMA 2 של מטא. הוא מאפשר שימוש מסחרי ומחקרי, אבל מחייב עמידה במדיניות השימוש של מטא וכולל הגבלת משתמשים חודשית למוצרים גדולים במיוחד.
- שימוש מסחרי עד 700 מיליון משתמשים
- שינוי הקוד
- חובת ייחוס