ELYZA-japanese-Llama-2-7b-fast-instruct-gguf

מה זה

מדובר בהמרה לפורמט GGUF של דגם ההוראות היפני שיצרה ELYZA, המבוסס במקור על Llama 2 בגודל שבעה מיליארד פרמטרים. ההבדל המרכזי כאן מול גרסאות רגילות של הדגם הוא הרחבת אוצר המילים ביפנית, מה שמקטין את פירוק המילים להמון טוקנים קטנים.

לפי נתוני היוצר, שינוי המילון מביא למהירות עיבוד של פי 1.8 לעומת הגרסה הסטנדרטית, לצד חיסכון משמעותי במשאבי חישוב. המודל עבר כוונון ייעודי למענה על הוראות ביפנית, כך שהוא מבין בקשות מובנות ומגיב בצורה ישירה דרך ממשק פקודה רגיל של llama.cpp.

מתאים ל

• בוט הוראות ביפנית

  מענה מהיר ומקומי לפניות משתמשים ביפנית בזכות הרחבת הטוקנים.

• הרצה על חומרת קצה

  הפעלת מודל שפה מקומית ללא חיבור רשת דרך llama.cpp.

• יצירת תוכן קצר ביפנית

  כתיבת סיפורים קצרים וטקסטים פשוטים לפי הנחיות מוגדרות.

איפה זה נופל

המודל אומן באופן בלעדי כמעט על יפנית ואנגלית של Llama 2, ולכן הוא לא מבין עברית ולא יחזיר בה תשובות סבירות. מעבר לזה, בסיס 7B מתקשה בהסקה לוגית מורכבת, קוד מתקדם או עמידה בהנחיות ארוכות בלי לסטות מהנושא.

איך מריצים

מורידים את קובץ ה־GGUF המתאים ומריצים ישירות באמצעות llama.cpp דרך שורת הפקודה. המשקל הכולל של כל הקבצים במאגר מגיע ל־48.6 גיגה-בייט בגלל פיצול לרמות כימות שונות, אבל כדי להריץ קובץ בודד כמו q4 תצטרכו מחשב פשוט יחסית עם מעבד סביר וכ־8 עד 16 גיגה-בייט זיכרון פנימי.

אם אתם לא צריכים שמירה מקומית על פרטיות או הרצה אופליין, לפעמים פשוט וזול יותר לפנות למודל גדול בענן דרך API מאשר לנהל תשתית והקצאת זיכרון בעצמכם.

ollama run hf.co/mmnga/ELYZA-japanese-Llama-2-7b-fast-instruct-gguf:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

14 קבצים במאגר, 48.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• ELYZA-japanese-Llama-2-7b-fast-instruct-q8_0.gguf7.3 GB
• ELYZA-japanese-Llama-2-7b-fast-instruct-q6_K.gguf5.6 GB
• ELYZA-japanese-Llama-2-7b-fast-instruct-q5_K_M.gguf4.9 GB
• ELYZA-japanese-Llama-2-7b-fast-instruct-q5_0.gguf4.7 GB
• ELYZA-japanese-Llama-2-7b-fast-instruct-q5_K_S.gguf4.7 GB
• ELYZA-japanese-Llama-2-7b-fast-instruct-q4_K_M.gguf4.2 GB
• ELYZA-japanese-Llama-2-7b-fast-instruct-q4_K_S.gguf3.9 GB
• ELYZA-japanese-Llama-2-7b-fast-instruct-q4_0.gguf3.9 GB
• ELYZA-japanese-Llama-2-7b-fast-instruct-q3_K_L.gguf3.7 GB
• ELYZA-japanese-Llama-2-7b-fast-instruct-q3_K_M.gguf3.4 GB
• ELYZA-japanese-Llama-2-7b-fast-instruct-q3_K_S.gguf3.0 GB
• ELYZA-japanese-Llama-2-7b-fast-instruct-q2_K.gguf2.9 GB
• README.md3.7 KB
• .gitattributes2.6 KB

הרישיון

הרישיון הוא רישיון הקהילה של Llama 2 מבית מטא. הוא מאפשר שימוש מסחרי ומחקר באופן חופשי לרוב הפרויקטים, אך דורש עמידה במגבלות השימוש המקובלות של מטא ואישור מיוחד רק אם השירות שלכם חוצה מאות מיליוני משתמשים פעילים בחודש.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗