GPT
הוספת כלי
L

Llama-3-ELYZA-JP-8B

קוד פתוח

elyzallama32024-06-25

  • transformers
  • safetensors
  • llama
  • text-generation
  • conversational

התאמה יפנית ממוקדת על בסיס לאמה 3 של מטא. הוא נבנה במיוחד עבור מי שצריך ביצועים ביפנית ובאנגלית בלי לשלם על מודלי ענק.

  • 8Bפרמטרים
  • 8,192טוקנים בהקשר
  • 15.0 GBמשקל הקבצים
  • 3,588הורדות בחודש

מה זה

מדובר במודל שפותח על ידי חברת ELYZA, שלקחה את Meta-Llama-3-8B-Instruct והעבירה אותו אימון מקדים נוסף וכוונון להוראות ביפנית. השילוב הזה שומר על יכולות הבסיס החזקות של הארכיטקטורה באנגלית, אבל מביא הבנה ויצירה טובה בהרבה של טקסט ביפנית, שפה שמודלים מערביים מתקשים בה בדרך כלל.

המודל כולל 8 מיליארד פרמטרים וחלון הקשר של 8,192 טוקנים. בכרטיס המודל המפתחים לא פרסמו מדדי ביצועים מספריים או מבחני השוואה רשמיים, אלא הפנו לפוסט בבלוג שלהם, כך שחובת ההוכחה לגבי איכות הפלט בפועל נשארת אצלכם בבדיקות עצמאיות.

מתאים ל

  • בוטים וסוכנים ביפנית

    מתאים לשיחות ולמענה על שאלות ביפנית תקינה על בסיס מודל שעבר התאמה ייעודית.

  • תרגום אנגלית ויפנית

    תרגום דו-כיווני בין השפות הרשמיות של המודל תוך שמירה על הקשר מקומי.

  • עיבוד טקסטים עסקיים ביפן

    תמצות וניתוח של הוראות ומסמכים קצרים ביפנית בהרצה מקומית ומאובטחת.

איפה זה נופל

המודל מוגדר רשמית רק ליפנית ולאנגלית. אין לו תמיכה מוצהרת בעברית, ולכן לא הייתי מנסה לבנות עליו שום תהליך שדורש עיבוד שפות שאינן ברשימה. בנוסף, חלון ההקשר מוגבל ל־8,192 טוקנים, מה שלא מתאים למסמכים ארוכים במיוחד או לספריות קוד גדולות. היעדר תוצאות מבחנים ישירות בכרטיס המודל מחייב אתכם לבדוק בעצמכם הזיות והיצמדות להנחיות לפני שמשלבים אותו במערכת פעילה.

אותה משפחה

Llama-3-ELYZA-JP יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Llama-3-ELYZA-JP-8B-GGUF1,951

שאלות
נפוצות

האם המודל יודע לעבוד עם עברית?

לא. המודל אומן והוגדר רשמית עבור יפנית ואנגלית בלבד. אם תזינו לו עברית, סביר להניח שתקבלו פלט משובש, חלקי או חסר משמעות לחלוטין.

מה צריך כדי להריץ אותו על המחשב?

תצטרכו סביבת פייתון עם ספריית transformers וכרטיס מסך עם לפחות 16 עד 24 ג'יגה זיכרון וידאו עבור הקבצים המלאים. למחשבים חלשים יותר תצטרכו להמיר את המודל לפורמט מכווץ כמו GGUF.

איך מריצים

המשקל הכולל של הקבצים עומד על 15 ג'יגה בייט בדיוק של bfloat16, כך שצריך כרטיס מסך עם לפחות 16 עד 24 ג'יגה בייט של זיכרון כדי להריץ אותו ישירות דרך ספריית transformers בלי קוונטיזציה.

אם אתם לא מחזיקים שרת ייעודי או כרטיס מתאים, מודל כזה ידרוש מכם התעסקות בתשתיות ענן. במקרים שבהם אין דרישה רגולטורית להרצה מקומית, פנייה לשירותי API מוכנים עשויה לחסוך תחזוקה, אלא אם יש לכם צורך מובהק בשליטה מלאה בקוד ובנתונים.

from transformers import pipeline

pipe = pipeline("text-generation", model="elyza/Llama-3-ELYZA-JP-8B")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא רישיון הקהילה של מטא עבור לאמה 3. הוא מתיר שימוש מסחרי ומחקר, אך כפוף לתנאים של מטא, כולל מגבלת משתמשים חודשיים של עד 700 מיליון לפני שנדרש רישיון נפרד, וציות למדיניות השימוש המקובל שלהם.

  • שימוש מסחרי עד 700 מיליון משתמשים
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗