Llama2-Chinese-7b-Chat
קוד פתוחFlagAlphaapache-2.02023-07-23
התאמה סינית של לאמה שבעה מיליארד, שמחברת כוונון עדין על בסיס הוראות אל המשקלים המקוריים של מטא. מי שבונה צ'אט דו לשוני בסינית ובאנגלית מקבל כאן גרסה מוכנה להרצה מיידית.
- 4,096טוקנים בהקשר
- 12.6 GBמשקל הקבצים
- 181הורדות בחודש
- 221לייקים
מה זה
הגרסה המקורית של מטא כמעט לא הבינה סינית, והצוות של פלאג אלפא פתר את זה בעזרת אימון על סט הוראות ייעודי בסינית. הם לקחו את משקלי הבסיס של מודל השיחה, אימנו שכבות התאמה בשיטת לורה, ומיזגו את הכל לקובץ משקלים אחיד. המשמעות היא שלא צריך לחבר מתאמים בזמן הטעינה, אלא פשוט טוענים ומריצים ישר מטרנספורמרס.
התוצאה היא מענה ממוקד לשאלות ושיחה שוטפת בסינית לצד אנגלית, על בסיס ארכיטקטורת קוזאל אל אל אם עם שלושים ושתיים שכבות. המודל שומר על היכולות המקוריות של שבעה מיליארד פרמטרים, אבל מונע את הג'יבריש שהגרסה הרגילה הייתה מייצרת כשפנו אליה במנדרינית. אין כאן נתוני מדידה מספריים מפורטים בתוך התיעוד הרשמי, אבל הדגש המוצהר של הקהילה הוא שיפור ברור של יכולת ההבנה והמענה בדיאלוגים בסינית בהשוואה למודל הבסיס.
מתאים ל
- בוט שירות לקוחות בסינית
מתאים למענה על שאלות נפוצות ממשתמשים בסין בלי תלות בשרתים חיצוניים.
- תרגום וניתוח טקסט טכני
מאפשר עיבוד דו לשוני בין אנגלית לסינית בתוך סביבת עבודה מקומית ומאובטחת.
- בסיס לאימון פנימי בארגון
נותן נקודת זינוק טובה למי שרוצה להמשיך ולאמן מודל על מסמכים פנימיים בסינית.
איפה זה נופל
היוצרים עצמם מציינים שהבסיס סובל מהתאמה חלשה לסינית, וגם אחרי האימון הנוסף מדובר במודל שבעה מיליארד עם חלון של ארבעת אלפים טוקנים בלבד. הוא לא יחזיק שיחות עמוקות עם מסמכים ארוכים, והוא מיועד בעיקר לסינית ואנגלית כך שבעברית אין מה לנסות להשתמש בו. בנוסף, חסרים מדדי ביצועים מדויקים בתוך הדף שלו, ולכן חובה לבדוק הזיות לפני שמשלבים אותו במוצר אמיתי.
אותה משפחה
Llama2-Chinese יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם המודל תומך בעברית?
לא. המודל אומן והותאם ספציפית לסינית ולאנגלית. הוא ייכשל בניסיון לנהל שיחה בעברית או לייצר טקסט הגיוני.
האם צריך להוריד את מתאמי הלורה בנפרד?
לא, המשקלים בעמוד הזה כבר מכילים את המיזוג המלא בין המודל של מטא לשכבות האימון הסיניות. אתם טוענים אותו כמודל רגיל לחלוטין בלי שום שלב הרכבה נוסף.
איך מריצים
כדי להריץ אותו בדיוק המקורי של פלוט שש עשרה תצטרכו לפחות שישה עשר גיגה בייט של זיכרון גרפי, כלומר כרטיס כמו אר טי איקס שלוש מאות ותשעים או ארבעים ותשעים. המשקלים שוקלים מעל שנים עשר גיגה, אז כל ניסיון לדחוף אותו למאיץ חלש יותר יחייב אתכם לכווץ אותו בקוונטיזציה לארבעה ביטים.
אם אתם לא צריכים שרת פרטי עם מידע רגיש או סביבה מנותקת, החזקה עצמית של מודל כזה תעלה לכם יותר בחומרה מאשר שליחת שאילתות לשירותי ענן קיימים. היתרון הגדול בריצה עצמית כאן הוא השליטה המלאה בנתונים ובזמני התגובה המקומיים.
from transformers import pipeline
pipe = pipeline("question-answering", model="FlagAlpha/Llama2-Chinese-7b-Chat")
print(pipe("שלום"))הקבצים
10 קבצים במאגר, 12.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הפרויקט מדווח תחת רישיון אפאצ'י שתיים, שמאפשר שימוש מסחרי חופשי, שינוי קוד והפצה. עם זאת, המשקלים מבוססים על לאמה שתיים של מטא, כך שמבחינה משפטית צריך לוודא שאין התנגשות עם תנאי השימוש המקוריים של חברת האם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים