Yarn-Mistral-7B-128k-GGUF

מה זה

הבסיס כאן הוא מודל שבעה מיליארד של מיסטרל שעבר אימון המשך על ידי נואוס ריסרץ' בשיטת יארן כדי להרחיב את חלון ההקשר מ־8 אלף ל־128 אלף טוקנים. דה בלוק לקח את המשקלים והמיר אותם לפורמט ג'י ג'י יו אף, שמאפשר להריץ אותו ישירות במעבד ובכרטיסי מסך ביתיים דרך תוכנות מבוססות לאמה סי פי פי.

במדדי פרפלקסיטי על טקסטים ארוכים, המודל שומר על רציפות טובה שמגיעה לציון 2.19 ב־128 אלף טוקנים, לעומת 3.08 ב־8 אלף. המשמעות היא שככל שהטקסט מתארך המודל עדיין מבין את ההקשר ומנבא מילים בצורה עקבית. במבחנים סטנדרטיים של הקשר קצר כמו אם אם אל יו או הלאסווג יש ירידה קלה של אחוז עד שלושה אחוזים לעומת מודל המקור, אבל היכולת הכללית נשמרת.

מתאים ל

• ניתוח מסמכים ארוכים

  קריאה של ספרים, חוזים או דוחות ענק באנגלית והוצאת מסקנות ברצף אחד של עד 128 אלף טוקנים.

• השלמת קוד בפרויקטים

  טעינה של מספר קובצי קוד מקור יחד כדי שהמודל יבין את כל מבנה המערכת לפני הצעת שינויים.

• הרצה מקומית על מחשב יחיד

  עבודה עם זיכרון ראם צנוע יחסית דרך לאמה סי פי פי בלי לשלוח מידע רגיש לשרתים חיצוניים.

איפה זה נופל

זהו מודל בסיס שלא עבר התאמה לשיחה או להוראות, ואין לו תבנית פרומפט מובנית. אם תזרקו לו שאלה רגילה, הוא עלול להמשיך את הטקסט במקום לענות עליה. המודל מוגדר רשמית רק באנגלית, ולכן התמודדות עם עברית או עם מסמכים מקומיים תהיה בעייתית ומועדת לשגיאות. הגרסאות המכווצות ביותר, כמו קיו שתיים או קיו שלוש, סובלות מירידה ניכרת באיכות הפלט והכרטיס עצמו ממליץ להימנע מהן.

אותה משפחה

Yarn-Mistral יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

מורידים רק קובץ אחד מתוך המאגר, ולא את כל החמישים ואחד ג'יגה בייט. לרוב המשתמשים מומלץ לקחת את גרסת קיו ארבע קיי אם ששוקלת 4.37 ג'יגה בייט ודורשת קצת פחות משבעה ג'יגה בייט זיכרון כדי לרוץ על המעבד, או את קיו חמש קיי אם שדורשת סביב שמונה ג'יגה בייט. אם יש כרטיס מסך עם שמונה או שנים עשר ג'יגה בייט זיכרון ייעודי, פורקים אליו שכבות עם לאמה סי פי פי כדי לקבל קצב תגובה מהיר.

ההרצה המקומית הגיונית אם יש לכם צורך בפרטיות מוחלטת או רצון להימנע מעלויות שוטפות. אם אתם צריכים לפתוח את כל מאה עשרים ושמונה אלף הטוקנים בתדירות גבוהה, כדאי לדעת שזיכרון ההקשר המקומי יזלול משאבים במהירות, ובמצב כזה שירות ענן חיצוני עשוי להיות מהיר ויציב יותר.

ollama run hf.co/TheBloke/Yarn-Mistral-7B-128k-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

15 קבצים במאגר, 51.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• yarn-mistral-7b-128k.Q8_0.gguf7.7 GB
• yarn-mistral-7b-128k.Q6_K.gguf5.9 GB
• yarn-mistral-7b-128k.Q5_K_M.gguf5.1 GB
• yarn-mistral-7b-128k.Q5_0.gguf5.0 GB
• yarn-mistral-7b-128k.Q5_K_S.gguf5.0 GB
• yarn-mistral-7b-128k.Q4_K_M.gguf4.4 GB
• yarn-mistral-7b-128k.Q4_K_S.gguf4.1 GB
• yarn-mistral-7b-128k.Q4_0.gguf4.1 GB
• yarn-mistral-7b-128k.Q3_K_L.gguf3.8 GB
• yarn-mistral-7b-128k.Q3_K_M.gguf3.5 GB
• yarn-mistral-7b-128k.Q3_K_S.gguf3.2 GB
• yarn-mistral-7b-128k.Q2_K.gguf3.1 GB
• README.md19.2 KB
• .gitattributes2.3 KB
• config.json31 B

הרישיון

הרישיון הוא אפאצ'י שתיים אפס. הוא מאפשר שימוש מסחרי מלא, שינוי של המשקלים, הפצה ושילוב במוצרים סגורים או פתוחים ללא תשלום תמלוגים. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים שמפיצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗