miqu-1-70b
קוד פתוחmiqudevרישיון לא דווח2024-01-26
גרסת 70B מסתורית שהודלפה לרשת ומבוססת על הארכיטקטורה של Mistral. מתאימה בעיקר לחוקרים ומפתחים שרוצים לבדוק משקלים גולמיים ומסקרנים בלי התחייבויות רשמיות.
- 108 GBמשקל הקבצים
- 646הורדות בחודש
- 984לייקים
מה זה
המשקלים האלה הופיעו ברשת תחת הכותרת המפורשת של הדלפה, עם ציור ASCII של לוגו Mistral. מדובר בדגם של 70 מיליארד פרמטרים שמגיע בקבצים במשקל כולל של 108 גיגה בייט, מה שמעיד על שמירה בדיוק גבוה בלי דחיסה מוקדמת. המפרסם כותב שזהו הדגם הראשון בסדרה אפשרית, אבל מעבר לכך אין שום תיעוד רשמי לגבי מערך הנתונים ששימש לאימון שלו.
מבחינת התנהגות, המודל משתמש בפורמט הפרומפטים המוכר של Mistral עם תגיות INST. המפרסם מציין במפורש שהמודל ראה 32 אלף טוקנים עם הגדרות תדר RoPE גבוהות, ומזהיר לא לגעת בהגדרות האלה כדי לא לפגוע באיכות הפלט. כל הבדיקות שלו בוצעו תחת טמפרטורה 1 וערך top_p של 0.95 כשכל שאר מנגנוני הדגימה מכובים.
בניגוד למודלים רשמיים בגודל הזה, אין כאן מדדי ביצועים מספריים כמו MMLU או HumanEval, וגם אין שום חברה שלוקחת עליו אחריות. מי שמוריד אותו עושה את זה מתוך סקרנות טהורה לגבי היכולות של המשקלים האלה בהשוואה לחלופות פתוחות מוכרות, ולא בגלל הבטחה מגובה בנתונים.
מתאים ל
- מחקר והשוואת משקלים
מאפשר לבחון איך מודל 70B לא רשמי של Mistral מתנהג בהשוואה למודלים פתוחים אחרים.
- ניסויי קוונטיזציה מקומיים
משקלי המקור המלאים ב־108GB מתאימים למי שרוצה לדחוס בעצמו לפורמטים כמו GGUF.
- בדיקת פרומפטים עם RoPE גבוה
מתאים למי שרוצה לבדוק התנהגות הקשר של 32k טוקנים בהגדרות Mistral מקוריות.
איפה זה נופל
הבעיה המרכזית היא חוסר ודאות מוחלט. אין שום תיעוד על נתוני האימון, רמת הבטיחות, מנגנוני היישור או התנהגות בעברית. המפרסם עצמו מודה שהדגם נבדק רק בסט ערכים צר של טמפרטורה 1 ו־top_p של 0.95, ומזהיר ששינוי הגדרות RoPE ישבור את התוצאות. בנוסף, חלון ההקשר מוגבל בפועל למה שנבדק, ואי אפשר לדעת איך הוא מתמודד עם טקסטים ארוכים באמת.
שאלות
נפוצות
האם כדאי להשתמש במודל הזה עבור מוצר בחברה?
ממש לא. אין לו רישיון מוגדר, הוא מוגדר כהדלפה ואין עליו שום תמיכה או מידע על סיכוני אבטחה והטיות. שימוש כזה חושף אתכם לתביעות ולחוסר יציבות טכני.
למה הקבצים שוקלים 108GB אם מדובר ב־70B?
המשקלים מאוחסנים בדיוק גבוה של 16 ביט, ללא דחיסה או קוונטיזציה מוקדמת. כדי להריץ אותם על מחשב רגיל תצטרכו להמיר אותם לגרסה מכווצת כמו 4 ביט.
איך מריצים
כדי להריץ 108 גיגה בייט של משקלים גולמיים מקומיים תצטרכו חומרת שרתים רצינית, כמו שני כרטיסי A100 של 80 גיגה או קוונטיזציה אגרסיבית לתוך llama.cpp. אם אתם עובדים עם llama.cpp, שימו לב שהיא מוסיפה טוקן פתיחה bos בעצמה, ולכן אסור להוסיף אותו שוב בפרומפט הידני.
אם אין לכם שרת ייעודי כזה בבית או במשרד, להרים מכונה בענן רק בשביל להריץ אותו ידרוש התעסקות יקרה ולא משתלמת. במצב כזה, עדיף בהרבה לפנות ל־API מסודר של מודל 70B קיים במקום לשלם על שעות של כרטיסי מסך יקרים.
ollama run hf.co/miqudev/miqu-1-70b:Q4_K_M
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
5 קבצים במאגר, 108 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
לא דווח שום רישיון בעמוד של המודל. המשמעות פשוטה: אין לכם שום אישור חוקי להשתמש בו לצרכים מסחריים, להטמיע אותו במוצר או להפיץ אותו ללקוחות. זה מיועד אך ורק למחקר פנימי, ניסויים ובדיקות על אחריותכם הבלעדית.