GPT
הוספת כלי
R

Rocinante-12B-v1.1

קוד פתוח

TheDrummerother2024-08-15

  • safetensors
  • mistral

גרסת 12 מיליארד פרמטרים שמיועדת לכתיבת סיפורים ומשחקי תפקידים יצירתיים. שילוב מודלים שמכוון לסגנון כתיבה עשיר ולא מרוסן, עם תמיכה בהקשר חריג בגודלו.

  • 12Bפרמטרים
  • 1,024,000טוקנים בהקשר
  • 22.8 GBמשקל הקבצים
  • 2,674הורדות בחודש

מה זה

מדובר במודל שמבוסס על Mistral ועבר מיזוג בשיטת Della, במטרה ברורה לשמש כלי לכתיבה יוצרת, הרפתקאות ומשחקי תפקידים. היוצרים שלו לא ניסו לבנות כלי לניתוח נתונים או כתיבת קוד, אלא מודל שמייצר פרוזה עשירה, מגוונת ויצירתית יותר ממה שרגילים לראות בגדלים האלה. הדגש פה הוא על סגנון טקסט חי ותיאורי, שמתרחק מהניסוחים היבשים והרובוטיים של מודלי בסיס סטנדרטיים.

בכרטיס המודל אין מבחני ביצועים רשמיים או גרפים של ציונים, אלא דיווחי בודקים שמצביעים על אוצר מילים רחב וסיפור עלילה סוחף. המודל תומך בתבניות שיחה שונות כמו ChatML למשחקי תפקידים, Alpaca להוראות ולסיפור, ותבנית Mistral הרגילה, כך שאפשר לשחק עם המבנה בהתאם לסוג היצירה שרוצים להפיק ממנו.

מתאים ל

  • משחקי תפקידים וצ'אט עלילתי

    מתאים בזכות תמיכה בתבנית ChatML והתאמה מובנית לדיאלוגים עשירים ופרוזה חיה.

  • כתיבת סיפורים והרפתקאות

    מספק אוצר מילים יצירתי וגמישות סגנונית בעזרת תבנית Alpaca וטמפרטורה גבוהה.

  • ניסויי יצירה לא מצונזרים

    מכוון לייצור טקסט יצירתי וחופשי בלי הריסון התאגידי הרגיל של מודלים מסחריים.

איפה זה נופל

אין כאן שום מידע על יכולות קידוד, פתרון בעיות מתמטיות או דיוק עובדתי, וזה לא מודל שהייתי סומך עליו במשימות כאלה. היוצרים מודים בעקיפין שהטקסט יכול להיות קיצוני או לא מרוסן, במיוחד בטמפרטורות גבוהות, ולכן הוא לא מתאים למערכות שדורשות אמינות, סינון תוכן קפדני או תשובות מדעיות. בנוסף, חלון ההקשר העצום המוצהר ידרוש משאבי זיכרון דמיוניים בפועל, ולא סביר שתצליחו לנצל את כולו בהרצה מקומית סבירה.

אותה משפחה

Rocinante יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Rocinante-12B-v1.1-GGUF4,546

שאלות
נפוצות

האם המודל הזה מתאים לפיתוח תוכנה או לעבודה משרדית?

לא. הוא תוכנן ואומן במיוחד עבור כתיבה יוצרת, משחקי תפקידים ופרוזה. אין לו מבחני ביצועים בקוד או בהיגיון, ואין סיבה להשתמש בו למשימות שדורשות דיוק עובדתי.

איך הכי כדאי להגדיר אותו כדי לקבל טקסט טוב?

היוצרים ממליצים להפעיל דוגם מסוג DRY. מעבר לזה, טמפרטורה של 0.7 תיתן כתיבה יציבה ומוכרת, וטמפרטורה של 1.2 תדחוף את היצירתיות לקצה.

איזו גרסה כדאי להוריד אם אין לי שרת חזק?

חפשו את גרסאות ה־GGUF או ה־EXL2 שפורסמו ברשת. הרצת המודל המלא דורשת כ־23 גיגה בייט רק למשקלים, כך שגרסאות מכווצות הן הדרך היחידה להריץ אותו על מחשב אישי סביר.

איך מריצים

כדי להריץ את המודל המקורי במשקל 22.8 גיגה בייט בפורמט bfloat16, תצטרכו כרטיס מסך עם לפחות 24 גיגה זיכרון וידאו, וגם זה בקושי רב אם תרצו לנצל חלון הקשר משמעותי. למזלכם קיימות גרסאות מכווצות בפורמט GGUF וכן גרסאות EXL2 ברמות דחיסה שונות של 4, 6 ו־8 ביטים, שמקלות מאוד על הרצה מקומית בחומרה צנועה יותר.

היוצרים ממליצים במפורש להשתמש בדוגם DRY כדי למנוע חזרתיות, ולכוון את הטמפרטורה ל־0.7 לכתיבה רגועה ויציבה, או להעלות עד 1.2 אם רוצים תוצאה פרועה ויצירתית בהרבה. אם אין לכם חומרה ייעודית, עדיף להשתמש בגרסאות המכווצות ולא לנסות להריץ את המשקל המלא.

pip install -U huggingface_hub
hf download TheDrummer/Rocinante-12B-v1.1

הקבצים

12 קבצים במאגר, 22.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר כ־other ללא פירוט של תנאי השימוש המדויקים בעמוד המודל. במצב כזה אי אפשר לדעת בוודאות אם מותר להשתמש בו לצרכים מסחריים, ומי שרוצה לשלב אותו במוצר עסקי לוקח סיכון משפטי עד שיברר את תנאי הרישוי המקוריים של המיזוג מול היוצרים.

הרישיון המלא בעמוד המודל ↗