Rocinante-12B-v1.1-GGUF

קוד פתוח

TheDrummerother2024-08-15

gguf
endpoints_compatible

גרסת GGUF למודל 12B שמיועדת בעיקר לכתיבה עלילתית ומשחקי תפקידים. הוא נבנה כדי לתת טקסט יצירתי, עשיר ופחות יבש מהתבניות הרגילות שתמצאו במודלי בסיס.

92.4 GBמשקל הקבצים
4,546הורדות בחודש
66לייקים

מה זה

המודל הזה הוא תוצר של מיזוג בשיטת Della שביצע MarinaraSpaghetti, ומבוסס ככל הנראה על Mistral NeMo לפי תבניות השיחה הנתמכות. הדגש פה הוא על סגנון כתיבה חי יותר. בוחנים שבדקו אותו דיווחו על אוצר מילים מגוון, שפה ציורית ויכולת טובה להחזיק סיפורי הרפתקאות בלי להישמע כמו בוט שירות לקוחות.

מי שרוצה להשתמש בו מקבל תמיכה בכמה תבניות פרומפט, כמו ChatML למשחקי תפקידים, Alpaca להוראות ולסיפורים, או תבנית Mistral. היוצרים ממליצים לשחק עם התבניות כדי לראות מה מפיק את הפלט הטוב ביותר, ולהשתמש בדוגם DRY יחד עם טמפרטורה שנעה בין 0.7 לרגוע ועד 1.2 לכתיבה פראית יותר.

מתאים ל

משחקי תפקידים
הוא תומך ב־ChatML ונבנה לייצר אינטראקציות עשירות עם אוצר מילים רחב.
כתיבת סיפורים והרפתקאות
היוצרים כיוונו לפרוזה ציורית ועלילתית עם תמיכה בתבנית Alpaca.
ניסויי יצירתיות בטמפרטורה גבוהה
הוא מגיב טוב לדוגם DRY ולטמפרטורה של עד 1.2 לפלטים פחות צפויים.

איפה זה נופל

הכרטיס לא מציג מבחני ביצועים מסודרים, וכל המידע מבוסס על דיווחי טוסטרס סובייקטיביים לחלוטין. אם אתם מחפשים מודל למשימות תכנות, שליפת מידע או ניתוח נתונים מדויק, הוא פשוט לא נבנה לזה ויש סיכוי גבוה להזיות. כמו כן, אין פה שום מידע על תמיכה בעברית, ולכן צריך לבדוק אותו מקומית לפני שבונים עליו משהו מעבר לכתיבה באנגלית.

אותה משפחה

Rocinante יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Rocinante-12B-v1.12,674

שאלות
נפוצות

איזו תבנית שיחה כדאי להגדיר בהרצה?

היוצרים תומכים ב־ChatML למשחקי תפקידים, Alpaca להוראות וסיפורים, או תבנית Mistral. כדאי לנסות כל אחת מהן ולראות איזו מהן נותנת את הסגנון שהכי מתאים לכם.

איך לגרום לו לא לחזור על עצמו בטקסט ארוך?

ההמלצה המפורשת בכרטיס היא להפעיל את דוגם DRY. בנוסף, אם אתם רוצים סגנון מאופק כדאי להישאר באזור טמפרטורה 0.7, ועבור טקסט פרוע יותר אפשר לעלות עד 1.2.

איך מריצים

המשקל הכולל של עשרת קובצי ה־GGUF במאגר עומד על 92.4 גיגה בייט, מה שאומר שיש כאן מגוון רמות כימוס לבחירה. מודל של 12 מיליארד פרמטרים בכימוס סביר של 4 או 5 ביט נכנס בדרך כלל לכרטיס מסך ביתי עם 12 עד 16 גיגה זיכרון, או רץ ישירות על מעבד ומספיק RAM.

אם אין לכם מעבד גרפי פנוי, אפשר לחפש שירות שמארח מודלים פתוחים. עם זאת, בגלל שמדובר במודל נישתי שנועד ליצירה ולא למשימות קוד או ניתוח עסקי, סביר להניח שתצטרכו להריץ אותו מקומית דרך llama.cpp או כלים מקבילים שתומכים בפורמט הזה.

ollama run hf.co/TheDrummer/Rocinante-12B-v1.1-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

BF1624.5 GB F1624.5 GB Q8_013.0 GB Q6_K10.1 GB Q5_K_M8.7 GB Q4_K_M7.5 GB Q3_K_M6.1 GB Q2_K4.8 GB

הקבצים

10 קבצים במאגר, 92.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר כרגע כ־other בלי פירוט נוסף בטקסט. המצב הזה בעייתי לשימוש מסחרי, כי אי אפשר לדעת אילו הגבלות חלות על המודלים שמוזגו לתוכו. לשימוש אישי או בדיקות אין בעיה, אבל אל תשלבו אותו במוצר בלי לברר קודם את תנאי הרישיון המדויקים מול המפרסם.

הרישיון המלא בעמוד המודל ↗