lmstudio-community/Meta-Llama-3.1-8B-Instruct-GGUF
קוד פתוחlmstudio-communityllama3.12024-07-23
גרסה מכווצת בפורמט GGUF של הדגם הפופולרי מבית מטא. היא נותנת ביצועים חזקים על חומרה מקומית רגילה בלי לשלוח נתונים החוצה.
- 32.2 GBמשקל הקבצים
- 88,157הורדות בחודש
- 262לייקים
מה זה
מטא אימנה את הדגם הזה על 15 טריליון טוקנים, כולל 25 מיליון דוגמאות שנוצרו באופן סינתטי. מדובר בעדכון ישיר לסדרת לאמה 3 שמביא איתו חלון הקשר ענקי של 128 אלף טוקנים. זה אומר שאפשר לזרוק עליו מסמכים ארוכים או שיחות ממושכות בלי לאבד את ההתחלה, שזה שדרוג רציני לעומת הגרסאות הקודמות בגודל שמונה מיליארד פרמטרים.
ההבדל העיקרי כאן הוא הדחיסה. הקהילה לקחה את המשקלים המקוריים והמירה אותם בעזרת llama.cpp וטכניקת imatrix כדי להקטין את השימוש במשאבים. הדגם תומך בשמונה שפות מרכזיות כמו אנגלית, ספרדית, גרמנית ותאילנדית, ומתאים למי שמחפש פתרון לריצה מקומית בלי תלות ברשת.
מתאים ל
- ניתוח טקסטים ארוכים
חלון הקשר של 128 אלף טוקנים מאפשר לקרוא ולתמצת מסמכים טכניים באנגלית.
- בוט פרטי לחלוטין
הקובץ רץ מקומית בלי חיבור לענן ושומר על פרטיות מלאה של השיחות.
- עיבוד בשפות זרות
המודל אומן ספציפית על שפות כמו ספרדית, גרמנית, צרפתית והינדי.
איפה זה נופל
העברית לא נכללת ברשימת השפות הרשמיות של המודל, שכוללת רק אנגלית, גרמנית, צרפתית, איטלקית, פורטוגזית, הינדי, ספרדית ותאילנדית. הוא אולי יבין מילים בעברית, אבל פלט מורכב בעברית צפוי להישבר. בנוסף, מודלים פתוחים עלולים לייצר תשובות לא מדויקות או תוכן פוגעני, ובגודל של שמונה מיליארד פרמטרים יש גבול ליכולת ההסקה העמוקה.
אותה משפחה
Meta-Llama-3.1 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם המודל תומך בעברית בצורה טובה?
רשימת השפות הרשמית כוללת אנגלית, גרמנית, צרפתית, איטלקית, פורטוגזית, הינדי, ספרדית ותאילנדית בלבד. עברית אינה ברשימה, ולכן לא מומלץ לבנות עליו למוצר שמיועד לדוברי עברית.
איזו תוכנה צריך כדי לפתוח את הקבצים?
הכרטיס מציין שצריך את LM Studio בגרסה 0.2.29 ומעלה, או כל סביבה אחרת שמריצה קובצי GGUF תואמי llama.cpp גרסה b3472 ומעלה.
איך מריצים
כדי להריץ אותו צריך תוכנה שתומכת בקובצי GGUF כמו LM Studio מגרסה 0.2.29 ומעלה, או ספריות מבוססות llama.cpp. המשקל הכולל של הקבצים שהועלו הוא 32.2 גיגה בייט, שמחולקים לשמונה קבצי כימות שונים. המשמעות היא שלא צריך כרטיס גרפי יקר של חוות שרתים, ואפשר להריץ קובץ בודד מהם על מחשב נייד חזק עם זיכרון סביר.
אם אתם צריכים לשרת אלפי משתמשים במקביל או לנצל את מלוא חלון הזיכרון של 128 אלף טוקנים בלי שהמחשב ייחנק, כנראה שעדיף לשלם לפי שימוש לספק שמחזיק את המודל המקורי.
ollama run hf.co/lmstudio-community/Meta-Llama-3.1-8B-Instruct-GGUF:Q4_K_M
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
8 קבצים במאגר, 32.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא רישיון llama3.1 של מטא. הוא מאפשר שימוש מסחרי ומחקר, אבל כפוף לתנאי השימוש והמדיניות של החברה. אם אתם מתכננים מוצר שמגיע למאות מיליוני משתמשים יש תנאים מיוחדים מול מטא, אבל לרוב החברות והמפתחים אין מגבלה כזאת.
- שימוש מסחרי עד 700 מיליון משתמשים
- שינוי הקוד
- חובת ייחוס