Llama-VARCO-8B-Instruct

מה זה

חברת המשחקים NCSOFT לקחה את מודל הבסיס של מטא והעבירה אותו אימון המשך מקדים יחד עם כוונון עדין ואופטימיזציית העדפות, במטרה לחזק את השפה הקוריאנית לצד שמירה על אנגלית. על הנייר זה מודל שמונה מיליארד פרמטרים שמתמחה בהוראות, אבל הדגש כאן הוא שפה ותרבות ספציפיות.

במבחן LogicKor שמתמקד בקוריאנית, הוא קיבל ציון משוקלל של 8.82 לעומת 5.42 של מודל המקור של מטא. המספר הזה מראה פער קיצוני ביכולת לנסח טקסט, לפתור בעיות היגיון ולשמור על דקדוק תקין בקוריאנית, תחומים שבהם מודלי בסיס מערביים נוטים להתרסק.

מתאים ל

• שירות לקוחות בקוריאנית

  מענה טבעי ומדויק ללקוחות דוברי קוריאנית בלי ליפול בשגיאות ניסוח או דקדוק מוזרות.

• לוקליזציה לשוק הקוריאני

  תרגום, התאמת תוכן וכתיבה שיווקית מאנגלית לקוריאנית שמתאימים לתרבות המקומית.

• ניתוח טקסטים בקוריאנית

  מיצוי תובנות וסיכום של פניות או מסמכים קצרים שכתובים בקוריאנית שוטפת.

איפה זה נופל

חלון ההקשר מוגבל ל־8,192 טוקנים, בניגוד לחלונות הענק של 128 אלף שקיימים במקור של לאמה 3.1, מה שפוסל אותו מניתוח מסמכים ארוכים או ספרים שלמים. בנוסף, הוא מתמקד אך ורק בקוריאנית ובאנגלית, כך שכל ניסיון לתשאל אותו בעברית או בשפות אחרות ייתן תוצאות גרועות, ובמתמטיקה הציונים שלו במבחן עדיין נמוכים משמעותית משאר היכולות שלו.

איך מריצים

כדי להריץ אותו דרך transformers בגרסה 4.43.0 ומעלה, אתם מושכים כמעט 16 ג'יגה בייט של משקולות בדיוק bfloat16. זה אומר שצריך כרטיס מסך אחד עם 24 ג'יגה זיכרון כדי לעבוד בצורה נוחה ולשמור מקום לחלון הקשר של 8,192 טוקנים.

אם תשתמשו בקוונטיזציה אפשר להוריד את הדרישות לחומרה ביתית צנועה יותר, אבל אם כל מה שאתם צריכים זה שאילתה קוריאנית פעם בשבוע, החזקת שרת ייעודי כזה פשוט תעלה יותר מדי כסף.

from transformers import pipeline

pipe = pipeline("text-generation", model="NCSOFT/Llama-VARCO-8B-Instruct")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json9.1 MB
• tokenizer_config.json51.2 KB
• model.safetensors.index.json23.9 KB
• Llama-3-1-Varco-8B.ipynb10.3 KB
• LICENSE.md7.6 KB
• README.md3.4 KB
• .gitattributes1.5 KB
• config.json777 B
• special_tokens_map.json430 B
• Notice.txt115 B

הרישיון

השימוש כפוף לרישיון הקהילתי של לאמה 3.1, שמתיר שימוש מסחרי חופשי לרוב החברות כל עוד מספר המשתמשים הפעילים לא חוצה 700 מיליון בחודש, ומחייב לשמור על תנאי ההפצה של מטא.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗