Llama3-Chinese-8B-Instruct

מה זה

מדובר בהתאמה של המודל הבסיסי בגודל שמונה מיליארד פרמטרים, שפותחה בשיתוף פעולה בין קהילת לאמה הסינית לבין חברת AtomEcho. המטרה המרכזית כאן היא שיפור ביצועי הדיאלוג והבנת השפה הסינית, תחום שבו מודלים מערביים מקוריים לפעמים מתקשים או מייצרים טקסט מגושם.

הכרטיס לא מציג טבלאות ביצועים מספריות או השוואות למבחנים סטנדרטיים, כך שקשה לדעת במדויק במה הוא עוקף כוונונים אחרים בלי להריץ בעצמכם. עם זאת, הוא נשען ישירות על התשתית המוכרת של ספריית transformers, מה שהופך את השילוב שלו לצפוי ונוח בלי צורך בהתאמות קוד מיוחדות.

מתאים ל

• בוט שירות בסינית

  מענה לפניות של משתמשים דוברי סינית על בסיס ארכיטקטורה יציבה שתוכננה לשיחה.

• תרגום וניסוח מחדש

  התאמת תוכן באנגלית לסגנון טבעי ושוטף בסינית במערכות פנימיות.

• עיבוד טקסטים בשוק האסייתי

  סיווג ותמצות מסמכים מקומיים כשצריך להריץ את הכל על שרתים פרטיים.

איפה זה נופל

בכרטיס המודל אין פירוט של ממש לגבי מגבלות ספציפיות, הטיות, או ביצועים בשפות אחרות. אל תבנו עליו למשימות בעברית, סביר מאוד שהיא נפגעה או שהיא חלשה בהרבה מסינית ומאנגלית. בנוסף, בהיעדר מבחני ביצועים מתועדים בדף, אתם צריכים לבדוק בעצמכם הזיות ודיוק עובדתי לפני שאתם סומכים עליו מול לקוחות אמיתיים.

איך מריצים

כדי להריץ אותו כמו שהוא בדיוק של float16, תצטרכו כרטיס מסך עם לפחות 16 עד 20 גיגה בייט זיכרון גרפי, בהתחשב בעובדה שמשקל המשקולות לבד מגיע ל־15 גיגה בייט. ההרצה נעשית ישירות דרך פייפליין סטנדרטי של יצירת טקסט בפייתון עם תבנית הצ'אט המובנית של המודל.

אם אתם לא מחזיקים בחומרה מתאימה מקומית, עדיף להרים שרת ייעודי בענן או לקחת מודל שמציע גישה ישירה בממשק חיצוני, אחרת ההרצה תזחל על מעבד רגיל.

from transformers import pipeline

pipe = pipeline("text-generation", model="FlagAlpha/Llama3-Chinese-8B-Instruct")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json9.1 MB
• modeling_llama.py73.6 KB
• tokenizer_config.json50.9 KB
• model.safetensors.index.json23.9 KB
• configuration_llama.py9.4 KB
• .gitattributes1.5 KB
• README.md1.4 KB
• config.json1.0 KB
• special_tokens_map.json301 B
• generation_config.json121 B

הרישיון

היוצרים לא דיווחו על רישיון בדף המודל. במצב כזה אין אישור מפורש לשימוש מסחרי, ואי אפשר לדעת אם מותר לשלב אותו במוצר בלי להסתכן משפטית. עד שהם יגדירו רישיון ברור, הוא מתאים בעיקר לבדיקות ולמחקר פנימי.

הרישיון המלא בעמוד המודל ↗