Meta-Llama-3.1-8B-Instruct-llamafile

קוד פתוח

mozilla-aillama3.12024-07-23

llamafile
facebook
meta
pytorch
llama

הפצה עצמאית שכוללת מודל שמונה מיליארד פרמטרים ומנוע הרצה בתוך קובץ בודד. מורידים קובץ אחד, מריצים אותו ישירות בטרמינל, ומקבלים צ'אט או שרת תואם ממשק של אופן איי איי.

102 GBמשקל הקבצים
5,804הורדות בחודש
42לייקים

מה זה

מוזילה לקחה את מודל ההוראות שמונה מיליארד של מטא וארזה אותו בפורמט שרץ כקובץ בינארי עצמאי על רוב מערכות ההפעלה, ללא תלות בספריות פייתון או הגדרות מורכבות. המודל הבסיסי מכוון למשימות שיחה, קוד והפעלת כלים, ותומך בהקשר של עד מאה עשרים ושמונה אלף טוקנים, אם כי כברירת מחדל ההרצה מוגבלת לשמונת אלפים מאתיים ותשעים ושישה טוקנים כדי לחסוך משאבים.

במבחני ביצועים, המודל הזה מציג קפיצה ניכרת ביחס לדור הקודם באותו גודל, במיוחד במשימות תכנות שבהן הוא עלה לציון של שבעים ושניים נקודה שש במבחן יומן אוול לעומת שישים נקודה ארבע. הוא גם מציג קפיצה משמעותית בשימוש בכלים ובקריאות ממשק, עם ציון של שמונים ושניים נקודה שש במבחן איי פי איי בנק לעומת ארבעים ושמונה נקודה שלוש בעבר, מה שהופך אותו לרלוונטי לאוטומציות מקומיות קלות.

מתאים ל

שרת פיתוח מקומי
מאפשר לדמות ממשק של אופן איי איי על המחשב לפיתוח ובדיקות תוכנה בלי לשלוח מידע החוצה ובלי חיבור לאינטרנט.
סקריפטים ואוטומציות
כולל מצב שורת פקודה מובנה שמקבל קלט ומחזיר טקסט ישירות לטרמינל, מתאים להשתלבות בתהליכי אוטומציה של מערכת ההפעלה.
סיוע בכתיבת קוד
מספק יכולת תכנות מקומית טובה יחסית לגודלו, עם תמיכה מוכחת במענה להוראות פיתוח בשפות תכנות שונות.

איפה זה נופל

השפות הנתמכות רשמית הן אנגלית, גרמנית, צרפתית, איטלקית, פורטוגזית, הינדי, ספרדית ותאילנדית בלבד. עברית אינה מופיעה ברשימת השפות הנתמכות של מטא, כך שההבנה והפלט בעברית אינם מובטחים ודורשים בדיקה זהירה או כוונון נוסף. נקודת חולשה מובהקת נוספת נרשמה במבחן ההיגיון המדעי ג'י פי קיו איי, שבו המודל השיג ציון של שלושים נקודה ארבע בלבד, נמוך אפילו מגרסת שמונה מיליארד הקודמת שהגיעה לשלושים וארבעה נקודה שש. הוא אינו מתאים למשימות מדעיות מורכבות.

שאלות
נפוצות

האם המודל הזה תומך בעברית?

הכרטיס מפרט שמונה שפות נתמכות בלבד: אנגלית, גרמנית, צרפתית, איטלקית, פורטוגזית, הינדי, ספרדית ותאילנדית. עברית אינה אחת מהן. המודל אומן על מידע רב מהרשת ולכן עשוי להחזיר פלט בעברית, אך אין התחייבות לאיכותו ונדרש כוונון עצמאי לשימוש אמין.

איך מחברים את הקובץ לקוד קיים שמשתמש בממשק של אופן איי איי?

ברירת המחדל של הקובץ פותחת שרת מקומי בפורט שמונה אפס שמונה אפס. השרת חושף נקודת קצה שתואמת במבנה שלה את ממשק הצ'אט של אופן איי איי, כך שכל מה שצריך לעשות בקוד זה לשנות את כתובת הבסיס לכתובת המקומית.

איך מריצים

בלינוקס או מק מורידים קובץ בודד, נותנים לו הרשאות ריצה באמצעות פקודת צ'מוד ומפעילים אותו ישירות. הקובץ מפעיל ממשק טרמינל מקומי ופותח שרת שמאזין לבקשות רשת. בווינדוס יש מגבלת גודל קובץ של ארבעה גיגה בייט להרצה ישירה, ולכן עדיף להוריד את קובץ הבינארי של מנוע ההרצה בנפרד ולהעביר לו את קובץ המשקלים כפרמטר. ההפצה הזו שוקלת מעל מאה גיגה בייט ומחולקת לעשרים קבצים, כאשר גרסת הקוונטיזציה המומלצת בכרטיס היא קיו שש קיי.

המודל מתוכנן לרוץ על מחשבים אישיים עם מעבדי אינטל, איי אם די או ארם, וניתן להפנות שכבות לכרטיסי מסך באמצעות דגל ייעודי. אם אתם זקוקים לניצול מלא של חלון ההקשר המקסימלי תחת עומס משתמשים כבד, או שאין לכם כרטיס גרפי מתאים להאצה, עדיף להשתמש בספק ענן שמחזיק את המודל פתוח במקום להעמיס את החומרה המקומית.

pip install -U huggingface_hub
hf download mozilla-ai/Meta-Llama-3.1-8B-Instruct-llamafile

הקבצים

20 קבצים במאגר, 102 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

התוכנה של מוזילה פתוחה וחופשית, אך המשקלים כפופים לרישיון הקהילתי של מטא עבור לאמה שלוש נקודה אחת. הרישיון מאפשר שימוש מסחרי ומחקרי, ומתיר להשתמש בפלטים כדי לאמן מודלים אחרים, בכפוף למדיניות השימוש המקובל של מטא ולמגבלות חוקיות.

שימוש מסחרי עד 700 מיליון משתמשים
שינוי הקוד
חובת ייחוס

הרישיון המלא בעמוד המודל ↗