GPT
הוספת כלי
M

miqu-1-70b-sf

קוד פתוח

152334Hרישיון לא דווח2024-01-30

  • transformers
  • safetensors
  • llama
  • text-generation
  • conversational

שחזור של מודל הדגל המסתורי שדלף, לאחר פריסה חזרה מכימות לרמת דיוק מקורית. המשקלים האלה מספקים יכולת כתיבה עשירה שמתחרה ישירות בדגמים הקנייניים הגדולים.

  • 69Bפרמטרים
  • 32,764טוקנים בהקשר
  • 128 GBמשקל הקבצים
  • 394הורדות בחודש

מה זה

מדובר בהמרה של miqu המקורי, מודל של כמעט 69 מיליארד פרמטרים שנחשד בזמנו כגרסה מוקדמת של מיסטרל. היוצר לקח קבצים מכומתים ברמת חמש ביט והחזיר אותם חזרה למבנה פייטורץ בדיוק מלא, תוך תיקון סיבוב המשקלים שלא עבד טוב בגרסאות קודמות שהסתובבו ברשת.

התוצאות במבחנים מראות מודל חזק למדי. ציון ממוצע של 76.59 בלוח המובילים הראשון, עם 88.61 בהלסוואג ו־75.49 ב־MMLU, מעיד על ידע כללי נרחב והבנה שפתית טובה באנגלית. עם זאת, בלוח המעודכן הוא חוטף מכה עם ממוצע של 28.82 בלבד, כשבמבחני חשיבה כבדים כמו מתמטיקה רמה חמש הוא עומד על 10.80 בלבד.

בשטח מקבלים כלי שמתמחה בעיקר בפרוזה, סגנון וטקסטים יצירתיים מורכבים. הוא מסוגל לשמור על עקביות וטון עשיר הרבה מעבר למה שמודלים פתוחים רגילים מציעים, אבל היכולות שלו במדעים מדויקים ופתרון בעיות לוגיות מורכבות נשארות בינוניות למדי.

מתאים ל

  • כתיבה יוצרת באנגלית

    המודל מייצר סגנון עשיר וציורי במיוחד שמתאים לספרות, משחקים ותסריטים.

  • בדיקת המרות משקלים

    מתאים לחוקרים שרוצים לבחון שחזור דיוק מגרסאות מכומתות לפייטורץ.

  • הרצת סוכנים מקומית

    טוב למי שמחזיק שרתי H100 וצריך מודל שיחה גדול ללא תלות ברשת.

איפה זה נופל

המודל הזה מוגדר רשמית לאנגלית בלבד ואין עליו שום נתונים לגבי תמיכה בשפות אחרות. מעבר לזה, במבחני לוגיקה וקוד מתקדמים הוא מתקשה מאוד, כפי שמשתקף בציון 13.42 ב־GPQA ו־17.21 ב־MuSR. הכרטיס גם מדווח על שגיאות תקן גבוהות בהרצה ומודה שההמרה לא מפיקה תוצאה זהה לחלוטין לקוד המקור, מה שהופך אותו לבעייתי מאוד למשימות הנדסיות קריטיות.

שאלות
נפוצות

האם המודל תומך בעברית בצורה סבירה?

הוא אומן וקוטלג עבור השפה האנגלית בלבד. כל שימוש בעברית יישען על שרידים בסיסיים, וסביר להניח שיתקבל פלט משובש או לא קוהרנטי.

למה להוריד את הגרסה הזו ולא את קובץ ה־q5 המקורי?

גרסה זו מיועדת למי שחייב משקלי חצי דיוק בפייטורץ, למשל לצורך אימון המשך, מחקר ארכיטקטורה או הרצה מותאמת ב־vllm. לשימוש שוטף והסקה, הקובץ המכומת המקורי עדיף וחוסך המון משאבים.

איך מריצים

כדי להעלות 128 גיגה־בייט של משקלים בפורמט כזה תצטרכו שרת רציני עם כמה כרטיסים גרפיים חזקים. במבחני הביצועים השתמשו בשרת H100 עם מקביליות של ארבעה כרטיסים דרך vllm, וטעינה ישירה לטרנספורמרס תדרוש לפחות שני כרטיסי שמונים גיגה כדי להחזיק את המודל ולייצר טוקנים.

אם אין לכם אשכול חומרה ייעודי בבית או בענן, עדיף להוריד גרסה מכומתת של llama.cpp כמו המקור, או פשוט לגשת למודלים סגורים דרך ממשק חיצוני. הרצה של קבצי המשקל הגולמיים האלה יקרה ומסורבלת מדי לרוב הפרויקטים הפרטיים.

from transformers import pipeline

pipe = pipeline("text-generation", model="152334H/miqu-1-70b-sf")
print(pipe("שלום"))

הקבצים

37 קבצים במאגר, 128 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הרשמי סומן כלא דווח, אך בטקסט נוספה הערה על רישיון NOMERGE. המצב המשפטי סביב המשקלים האלה עכור לחלוטין בגלל מקורם הלא ברור. אסור לשלב אותו בשום מוצר מסחרי או קוד ייצורי בחברה שחוששת מתביעות זכויות יוצרים.

הרישיון המלא בעמוד המודל ↗