Meta-Llama-3-8B-Instruct-llamafile

קוד פתוח

mozilla-aiother2024-04-19

llamafile
llama
llama-3
text-generation
en

גרסה ארוזה כקובץ הרצה בודד של מודל ההוראות הפופולרי. מורידים קובץ אחד ומריצים מקומית בלי תלויות ובלי התקנות של פייתון.

98.5 GBמשקל הקבצים
11,106הורדות בחודש
53לייקים

מה זה

מוזילה לקחה את משקלי ההוראות של מטא וארזה אותם בפורמט llamafile, שמבוסס על Cosmopolitan Libc. התוצאה היא קובץ בינארי שרץ ישירות על מגוון מערכות הפעלה כולל לינוקס, מק וחלונות, גם על AMD64 וגם על ARM64. כשמפעילים אותו הוא פותח ממשק צ'אט ישירות בדפדפן בלי צורך בשרת נפרד או סביבת ריצה מורכבת.

במבחני ביצועים מטא מדווחת על ציון של 68.4 ב־MMLU ו־62.2 ב־HumanEval. המשמעות היא יכולת קידוד ופתרון בעיות שגוברת משמעותית על הדור הקודם באותו סדר גודל, אבל עדיין מדובר במודל שמוגבל למשימות ממוקדות ולא מחליף מודלי ענק ללוגיקה כבדה.

מתאים ל

בוט מקומי בלי תלויות
מריצים שרת שיחה עצמאי על מחשב נייד בלי להתקין ספריות פייתון או דרייברים מורכבים.
עוזר כתיבה ובדיקת קוד
מקבלים סיוע בכתיבת פונקציות וקוד באנגלית ישירות בטרמינל או בדפדפן המקומי.
עיבוד טקסטים באופליין
מסכמים ומנתחים מסמכים רגישים באנגלית בלי להוציא שום מידע לרשת.

איפה זה נופל

המודל אומן והוגדר רשמית לשימוש באנגלית בלבד, ואינו מיועד לשפות אחרות בלי אימון נוסף. כל ניסיון לתחקר אותו בעברית מחוץ לקופסה ייצר תוצאות לא אמינות או מבולבלות. נתוני האימון נחתכו במרץ 2023, כך שכל ידע על אירועים מאוחרים יותר פשוט לא קיים בו. בנוסף, קבצים שגדולים מ־4.30 גיגה נתקלים בבעיות הרצה בסביבת חלונות.

שאלות
נפוצות

האם המודל יודע לעבוד בעברית?

הכרטיס מצהיר במפורש שהמודל מיועד לשימוש באנגלית בלבד. שימוש בשפות אחרות מוגדר כחריגה מהייעוד, ודורש כוונון נוסף על ידי המפתח כדי לקבל תוצאות שמישות.

למה המאגר שוקל כמעט מאה גיגה?

הנפח הכולל נובע מכך שמוזילה ארזה גרסאות רבות באותו מקום, שכל אחת מהן מכילה רמת דחיסה שונה. אתם מורידים רק קובץ הרצה בודד שמתאים לגודל הזיכרון שלכם, ולא את כל התוכן.

איך מריצים

במערכות יוניקס מסמנים את הקובץ כקובץ הרצה ומפעילים אותו ישירות מהטרמינל, עם דגל ngl כדי להעביר שכבות לכרטיס המסך אם יש כזה. המאגר מכיל 20 קבצים בנפח כולל של 98.5 גיגה, כי הוא מציע מגוון רחב של קוונטיזציות, כך שמורידים רק קובץ אחד שמתאים לחומרה שלכם ולא את כל המאגר.

עבור יצירת טקסט קוונטיזציות כמו Q4_0 או Q5_K_M חוסכות זיכרון ומאיצות את הפליטה, בעוד שפורמט BF16 נתמך כרגע רק על המעבד. אם יש לכם מחשב אישי בלי כרטיס מסך מתאים, או שאתם צריכים תעבורה גדולה לצוות, עדיף להשתמש ב־API מנוהל במקום לטחון את החומרה המקומית.

pip install -U huggingface_hub
hf download mozilla-ai/Meta-Llama-3-8B-Instruct-llamafile

הקבצים

20 קבצים במאגר, 98.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר כמותאם אישית, תחת תנאי הרישיון המסחרי של מטא ומדיניות השימוש המקובל שלה. מותר להשתמש בו לצרכים מחקריים ומסחריים באנגלית, אבל הוא אוסר במפורש שימוש בשפות אחרות ללא כוונון ייעודי, ומחייב עמידה במגבלות שימוש ספציפיות.

הרישיון המלא בעמוד המודל ↗