llama-3-Korean-Bllossom-8B

מה זה

מדובר בהרחבה מאומנת של ארכיטקטורת Llama 3 בקוטר שמונה מיליארד פרמטרים, שנועדה לחבר ידע בין קוריאנית לאנגלית. הצוות מאחוריו שילב אימון מקדים על מעל מאה ג'יגה-בייט של טקסט קוריאני, כוונון להוראות שנכתבו עם מומחי שפה, והטמעת משוב אנושי בשיטת DPO כדי להתאים את הפלטים להקשר המקומי.

במדד LogicKor המקומי להערכת ביצועים בקוריאנית, הוא השיג ציון של 6.93. במשימות כתיבה הוא הגיע לציון 9.0 והוביל על חלופות מסחריות גדולות, ובהסקה לוגית רשם 8.29. עם זאת, במתמטיקה הוא נחלש עם 5.43 ובתכנות קיבל ציון נמוך של 4.43 בלבד.

מתאים ל

• תרגום קוריאנית-אנגלית

  האימון על קורפוס מקבילי מייצר תרגום מדויק שמבין ביטויים תרבותיים.

• עוזר שיחה לשוק הקוריאני

  ציונים גבוהים בכתיבה ודיאלוג מאפשרים לו לנהל שיחות טבעיות בקוריאנית.

• יצירת תוכן שיווקי מקומי

  הוא מותאם ספציפית לניואנסים לשוניים ותרבותיים שאינם קיימים במודל הבסיס.

איפה זה נופל

החולשה העיקרית שלו היא משימות הנדסיות וטכניות. ציון של 4.43 בקוד וציון מתמטי של 5.43 מראים שהוא לא מיועד לכתיבת סקריפטים או פתרון חישובים. בנוסף, חלון ההקשר עומד על 8,192 טוקנים בלבד, כך שהוא אינו מתאים לניתוח מסמכים ארוכים במיוחד.

איך מריצים

כדי להריץ אותו במשקל מלא של bfloat16 תצטרכו כרטיס מסך עם לפחות 16 עד 20 ג'יגה-בייט זיכרון גרפי, כמו RTX 3090, RTX 4090 או כרטיס שרת מקביל בענן. הספריות הנדרשות הן transformers בגרסה 4.40.0 יחד עם accelerate ו־torch.

אם אין לכם חומרה ייעודית, קיים קישור למחברת קולאב ולגרסת קוונטיזציה של 4 ביט שמאפשרת עבודה גם על מעבד או כרטיס חלש יותר. כשהמטרה היא קריאות בודדות בלבד, שימוש בממשק ענן של מודל מסחרי יחסוך את עלות התחזוקה של שרת ייעודי.

from transformers import pipeline

pipe = pipeline("text-generation", model="MLP-KTLim/llama-3-Korean-Bllossom-8B")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json9.1 MB
• tokenizer_config.json51.1 KB
• model.safetensors.index.json23.9 KB
• README.md14.0 KB
• .gitattributes1.5 KB
• config.json710 B
• special_tokens_map.json444 B
• generation_config.json172 B

הרישיון

הפרויקט מופץ תחת רישיון llama3 של חברת מטא. הרישיון מתיר שימוש מסחרי ומחקר, אך כפוף למדיניות השימוש ההוגן של מטא ומגביל שימוש אם בסיס המשתמשים החודשי שלכם עולה על מאות מיליונים.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗