GPT
הוספת כלי
L

llama-2-ko-7b

קוד פתוח

beomiרישיון לא דווח2023-07-20

  • transformers
  • pytorch
  • safetensors
  • llama
  • text-generation

הרחבה של לאמה 2 לשפה הקוריאנית עם מילון ייעודי ואימון מקדים נוסף. הוא מיועד למי שבונה פתרונות טקסט בקוריאנית וצריך מודל בסיס בגודל שבעה מיליארד פרמטרים.

  • 6.9Bפרמטרים
  • 2,048טוקנים בהקשר
  • 25.5 GBמשקל הקבצים
  • 537הורדות בחודש

מה זה

מדובר במודל שפה גנרטיבי ממשפחת LlamaForCausalLM שאומן מחדש על טקסטים מקוונים בקוריאנית בהיקף של מעל 40 מיליארד טוקנים. השינוי המרכזי שבוצע בו הוא הרחבת המילון מ־32,000 ל־46,336 טוקנים, מה שמאפשר לו לייצג מילים וביטויים בקוריאנית בשבריר מכמות הטוקנים שהמודל המקורי דרש. הטוקנייזר שלו מפרק משפט קוריאני ממוצע לשבעה טוקנים במקום עשרים ותשעה, מה שחוסך מקום בחלון ההקשר ומקצר את זמן הריצה.

במבחני הביצועים הקוריאניים רואים שהתוספת הזו עובדת. במבחן BoolQ המודל מגיע לציון 0.71 ב־50 דוגמאות לעומת 0.41 במודל המקורי, וב־COPA הוא עולה ל־0.82 לעומת 0.59. עם זאת, במבחן HellaSwag הקוריאני הוא נעצר באזור ה־0.47, תוצאה נמוכה בהרבה ממודלים מקומיים מתחרים כמו Polyglot-Ko. במבחנים הבינלאומיים באנגלית הוא רושם ממוצע של 39.43 בלבד, עם ציון חלש מאוד של 1.97 במתמטיקה ב־GSM8K.

מתאים ל

  • אימון מודל הוראות בקוריאנית

    נקודת מוצא טובה לכוונון עדין על משימות בקוריאנית בזכות מילון מותאם וידע לשוני מוקדם.

  • השלמת טקסטים בקוריאנית

    הפקת המשכי טקסט ומאמרים באתרי תוכן קוריאניים ביעילות טוקניזציה גבוהה.

  • סיווג טקסט וניתוח סנטימנט

    הוא מציג תוצאות טובות במבחן SentiNeg ומזהה היטב הקשרים פשוטים בשפה הקוריאנית.

איפה זה נופל

זהו מודל בסיס פתוח שלא עבר כוונון להוראות או שיחה, כך שהוא אינו יודע להתנהג כצ'אטבוט מהקופסה אלא רק להשלים טקסט. היכולת החישובית והלוגית שלו מוגבלת מאוד, כפי שמעידים הציונים הנמוכים ב־GSM8K ו־DROP, וחלון ההקשר שלו קצר ועומד על 2,048 טוקנים בלבד. מעבר לזה, המפתח עדכן בדצמבר 2023 על שחרור גרסה חדשה יותר בשם open-llama-2-ko-7b המבוססת על נתונים פתוחים בלבד, ולכן הגרסה הזו כבר אינה העדכנית ביותר.

אותה משפחה

llama-2-ko יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

llama-2-ko-70b0

שאלות
נפוצות

האם המודל הזה מתאים לעבודה בעברית?

לא. המודל אומן על אנגלית וקוריאנית בלבד ולא קיבל שום התאמה או אוצר מילים לעברית. שימוש בו לקלט עברי יניב פלט משובש או מקוטע.

האם אפשר להשתמש בו ישירות כעוזר אישי או צ'אט?

לא מומלץ. זהו מודל השלמת טקסט ולא מודל שיחה מכוונן. כדי לקבל עוזר שעונה לשאלות תצטרכו לאמן אותו בעצמכם על נתוני הוראות או לחפש גרסת fine-tuned.

למה הטוקנייזר שלו עדיף על לאמה 2 המקורי לקוריאנית?

הוא כולל מעל 14 אלף טוקנים נוספים לשפה הקוריאנית. במקום לפרק כל אות למספר תווים מבודדים, הוא קורא מילים שלמות וחוסך משאבים רבים בריצה.

איך מריצים

המודל שוקל 25.5 גיגה-בייט ומחולק לארבעים קבצים בדיוק bfloat16. כדי לטעון אותו תצטרכו כרטיס מסך של Nvidia עם לפחות 16 גיגה זיכרון גרפי להסקה בסיסית, או להמיר אותו למספרים שלמים כדי להריץ על חומרה צנועה יותר. מי שעובד על מעבדי אפל לא יוכל להריץ חישובי bfloat16 ישירות על המעבד הגרפי וייאלץ לרדת לחישוב על גבי ה־CPU.

בעבודה עם ספריית transformers חובה להגדיר שימוש בטוקנייזר המהיר use_fast=True בגלל שינויי המילון. נכון לעכשיו, אם אין לכם תשתית ענן מנוהלת משלכם ואתם צריכים רק מענה מזדמן בקוריאנית, מודלים גדולים דרך API מסחרי יתנו מענה יציב וזול יותר מהחזקת שרת ייעודי למודל כזה.

from transformers import pipeline

pipe = pipeline("text-generation", model="beomi/llama-2-ko-7b")
print(pipe("שלום"))

הקבצים

40 קבצים במאגר, 25.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

היוצר לא דיווח על רישיון שימוש בקבצי המודל. המשמעות בפועל היא שאין היתר משפטי ברור להשתמש בו לצרכים מסחריים או לשלב אותו במוצר שמפיצים ללקוחות, והשימוש בו נשאר כרגע בגדר ניסוי או מחקר בלבד עד להסדרת הנושא.

הרישיון המלא בעמוד המודל ↗