GPT
הוספת כלי
L

llama-3.2-Korean-Bllossom-3B

קוד פתוח

Bllossomllama3.22024-10-08

  • transformers
  • safetensors
  • llama
  • text-generation
  • conversational

התאמה קוריאנית מלאה על בסיס לאמה הקטן, שמיועדת למי שחייב מודל קל משקל דו-לשוני באנגלית וקוריאנית. הוא עבר אימון מלא על דאטה מסונן בלי לפגוע באנגלית המקורית.

  • 3.2Bפרמטרים
  • 131,072טוקנים בהקשר
  • 6.0 GBמשקל הקבצים
  • 2,334הורדות בחודש

מה זה

מדובר בהרחבה דו-לשונית למודל של מטא, שנוצרה כי הגרסה המקורית של לאמה 3.2 בגודל הזה לא תמכה בקוריאנית בצורה טובה. היוצרים לקחו 150 ג'יגה-בייט של טקסט קוריאני מסונן וביצעו אימון מקדים מלא של כל הפרמטרים, ולא רק שכבה עליונה. לאחר מכן הם הוסיפו כוונון הוראות מוקפד כדי להפוך אותו לשימושי בשיחה ובמשימות טקסט.

הצוות מדגיש שהמודל שומר על יכולות האנגלית המקוריות שלו בלי שחיקה, ובכך הוא מציע פתרון מקומי שמתאים לעבודה בשתי השפות במקביל. הם בחרו במכוון שלא לאמן אותו ישירות על שאלות ממבחנים כמו LogicKor או MT-Bench כדי לא לנפח ציונים מלאכותיים, ולכן התוצאות משקפות יכולת שפה אמיתית ולא התאמת יתר למבחנים.

מתאים ל

  • תרגום קוריאנית אנגלית

    הוא עבר אימון ייעודי כפול לשתי השפות בלי לפגוע בביצועי האנגלית של הבסיס.

  • עיבוד מקומי במכשיר קצה

    משקל של 6 ג'יגה מאפשר להריץ משימות שפה מקומיות בקוריאנית גם על חומרה צנועה.

  • בסיס לכוונון DPO

    היוצרים ביצעו רק כוונון הוראות ומזמינים להמשיך את האימון עם שיטות העדפה.

איפה זה נופל

המודל עבר כוונון הוראות בלבד ולא עבר תהליכי יישור מתקדמים כמו DPO, מה שאומר שהוא עלול לפספס בהעדפות מורכבות של משתמשים. החיסרון המשמעותי ביותר לקורא המקומי הוא היעדר מוחלט של עברית בחומרי האימון, הוא דו-לשוני לקוריאנית ואנגלית בלבד. בנוסף, המפתחים עצמם כבר שחררו גרסת 5B חדשה יותר בדצמבר 2024, כך שלפני שמשלבים אותו כדאי לבדוק אם הגרסה העדכנית לא עדיפה למשימה שלכם.

שאלות
נפוצות

האם יש למודל הזה תמיכה בעברית?

המודל אומן והותאם ספציפית לקוריאנית ולאנגלית בלבד. לא נעשה שום אימון בעברית, ולכן לא מומלץ להשתמש בו ליישומים שדורשים הבנה או כתיבה בעברית.

למה לבחור בגרסת 3B אם כבר קיימת גרסת 5B?

גרסת ה־3B שוקלת רק 6.0 ג'יגה-בייט ודורשת פחות זיכרון להרצה מהירה בקצה או על שרתים קטנים. אם המשאבים מוגבלים והביצועים מספקים, הוא דורש פחות כוח חישוב מהגרסה הגדולה יותר שיצאה אחריו.

איך מריצים

המשקל הכולל של הקבצים הוא 6.0 ג'יגה-בייט בפורמט bfloat16, כך שאפשר להריץ אותו בקלות על כרטיס מסך בודד עם 8 עד 12 ג'יגה זיכרון דרך ספריית transformers. בזכות הגודל הקומפקטי שלו, הוא רץ חלק גם על מחשבים ניידים חזקים בלי צורך בשרתים כבדים.

אם כל מה שאתם צריכים זה עיבוד מזדמן ולא אכפת לכם מפרטיות או תעבורת רשת, שירות ענן חיצוני יחסוך תחזוקה. אבל כשיש דרישה לזמני תגובה מהירים, עבודה מקומית ללא עלויות קריאה שוטפות או אילוצי אבטחה, הגודל שלו הופך את ההרצה העצמית לפשוטה ומשתלמת מאוד.

from transformers import pipeline

pipe = pipeline("text-generation", model="Bllossom/llama-3.2-Korean-Bllossom-3B")
print(pipe("שלום"))

הקבצים

10 קבצים במאגר, 6.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא רישיון llama3.2 של מטא, והיוצרים מציינים במפורש שהמודל מותר לשימוש מסחרי. מותר להטמיע אותו במוצרים שלכם ולמכור שירותים סביבו, בכפוף לתנאי השימוש הרגילים והמגבלות הסטנדרטיות שמטא מגדירה ברישיון המקורי שלה.

  • שימוש מסחרי עד 700 מיליון משתמשים
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗