Llama3-8B-Chinese-Chat

מה זה

המודל הזה נבנה ישירות על גבי הגרסה המונחית של לאמה 3 בגודל שמונה מיליארד פרמטרים, באמצעות שיטת ORPO וללא צורך במודל ייחוס נפרד. המטרה המרכזית של היוצרים הייתה לפתור בעיה ידועה במודל המקורי של מטא, שנטה להחזיר תשובות באנגלית לשאלות שנשאלו בסינית, או לערבב בין השפות באמצע משפט. גרסת ברירת המחדל בעמוד היא גרסה 2.1, שאומנה על גבי כמאה אלף זוגות העדפה, כמות גדולה פי חמישה מגרסת הבסיס הראשונה של הפרויקט.

האימון הנוסף מכוון בעיקר ליכולות משחק תפקידים, פתרון בעיות מתמטיות, בטיחות והפעלת כלים חיצוניים דרך קריאות לפונקציות. במקום להסתפק בהבנת טקסט בסיסית, הוא יודע לפלוט מבני נתונים מסודרים שמפעילים כלים, תוך צמצום כמות המילים באנגלית שנפלטות במהלך שיחה רגילה בסינית.

מתאים ל

• צ'אטבוט דו לשוני בסינית

  מטפל בשיחות לקוחות שמשלבות סינית ואנגלית בלי להחליף שפה בטעות באמצע השיחה.

• הפעלת פונקציות וכלים

  ממיר הוראות טקסטואליות בסינית לקריאות מתאימות של כלים ופונקציות במבנה נתונים מסודר.

• משחקי תפקידים ויצירה

  מאומן לענות בסגנונות כתיבה מגוונים, משירה מודרנית ועד חיקוי דמויות היסטוריות בסינית קלאסית.

איפה זה נופל

היוצרים מציינים במפורש שהם נמנעו לחלוטין מכוונון זהות המודל כדי לא לפגוע בביצועים. התוצאה היא שבשאלות כמו מי אתה או מי פיתח אותך, המודל מחזיר תשובות אקראיות ולא מדויקות. בנוסף, אף שמדובר בשיפור לעומת הגרסה המקורית, עדיין נדרשת זהירות בנושא ערבוב שפות, והמודל עלול לחרוג מההנחיות בתשובות ארוכות. חלון ההקשר עומד על 8,192 טוקנים בלבד, כך שהוא אינו מתאים לניתוח מסמכים ארוכים במיוחד.

אותה משפחה

Llama3-8B-Chinese יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

משקל הקבצים בפורמט המקורי הוא 15 ג'יגה בייט בדיוק של שש עשרה סיביות, מה שמחייב כרטיס מסך עם זיכרון ייעודי של לפחות שש עשרה עד עשרים ג'יגה בייט כדי לטעון אותו ישירות דרך פייתון. מי שרוצה להריץ אותו מקומית על מחשב נייד או שרת פשוט יותר, יכול למשוך את גרסאות הקימוט הרשמיות בארבע או שמונה סיביות שהועלו ל־Ollama.

ההרצה דרך פקודת שורה אחת ב־Ollama חוסכת התעסקות עם ספריות ותלויות. אם המוצר שלכם לא פונה לשוק הסיני ואינו דורש דו לשוניות הדוקה בין סינית לאנגלית, חבל להקצות שרת ייעודי למודל הזה, ועדיף להישאר עם ה־API של המודל המקורי או מודל כללי אחר.

from transformers import pipeline

pipe = pipeline("text-generation", model="shenzhi-wang/Llama3-8B-Chinese-Chat")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.2 GB
• tokenizer.json9.1 MB
• tokenizer_config.json51.3 KB
• README.md43.6 KB
• model.safetensors.index.json23.9 KB
• LICENSE7.8 KB
• .gitattributes1.5 KB
• config.json649 B
• generation_config.json147 B
• special_tokens_map.json97 B

הרישיון

הרישיון הוא רישיון לאמה 3 של חברת מטא. הוא מאפשר שימוש מסחרי ומחקר חופשי לרוב החברות, כל עוד מספר המשתמשים החודשי של המוצר לא חוצה את רף שבע מאות מיליון המשתמשים הפעילים, ומחייב לשמור על תנאי השימוש המקוריים והמדיניות הנלווית של מטא.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗