chinese-alpaca-2-7b
קוד פתוחhflapache-2.02023-07-31
גרסה מכווננת הוראות של לאמה 2 שקיבלה אימון ייעודי ואוצר מילים מורחב לסינית. מי שצריך מודל שבעה מיליארד פרמטרים שמבין סינית מעבר לאנגלית ימצא פה מענה מדויק.
- 4,096טוקנים בהקשר
- 12.9 GBמשקל הקבצים
- 199הורדות בחודש
- 160לייקים
מה זה
מדובר במודל שבעה מיליארד פרמטרים המבוסס על לאמה 2 של מטא, שעבר הרחבה ייעודית של אוצר המילים לצד אימון המשך על כמויות גדולות של מידע בסינית. בניגוד לגרסת הבסיס הפשוטה, גרסת האלפקה מגיעה אחרי כוונון הוראות, כך שהיא מוכנה ישירות לשיחה ולמענה למשימות טקסטואליות בלי שתצטרכו לאמן אותה מאפס.
בניגוד למודלים מערביים מקבילים בגודל הזה, שלרוב מקרטעים בסינית בגלל מחסור בטוקנים מתאימים, כאן הטוקנייזר הותאם כדי לטפל בשפה ביעילות גבוהה יותר. היוצרים שחררו גם גרסאות של שלוש עשרה מיליארד וגרסאות לורה נפרדות, אבל הקובץ הנוכחי מכיל את מלוא המשקלים של מודל ההוראות הקטן, מוכן לטעינה ישירה.
הוא תומך בחלון הקשר בסיסי של 4,096 טוקנים, כאשר לפי המפתחים אפשר למתוח אותו מעבר לשמונה עשר אלף בעזרת שיטת NTK. זה שימושי אם יש לכם טקסטים ארוכים בסינית או באנגלית, אם כי ההרחבה הזו דורשת התעסקות טכנית בהגדרות הריצה.
מתאים ל
- בוט שירות לקוחות בסינית
עבר כוונון הוראות ומכיל אוצר מילים ייעודי לסינית, כך שהוא מייצר תשובות שוטפות וטבעיות בשפה.
- תרגום מסמכים דו כיווני
מאומן היטב על אנגלית וסינית במקביל, מה שמאפשר המרה מדויקת בין שתי השפות המרכזיות שלו.
- הסקה מקומית על מחשב אישי
המשקל הקל של שבעה מיליארד פרמטרים מאפשר להריץ אותו מקומית בלי תלות ברשת ובעלויות שרת גבוהות.
איפה זה נופל
המודל מוגדר ומאומן ספציפית עבור סינית ואנגלית, מה שאומר שעברית פשוט לא קיימת כאן מבחינת ביצועים או אוצר מילים. אם תנסו לזרוק עליו עברית תקבלו תוצאות מפורקות, איטיות וחסרות הגיון תחבירי.
בנוסף, עם שבעה מיליארד פרמטרים היכולת להחזיק היגיון מורכב עדיין מוגבלת ביחס למודלים ענקיים. חלון ההקשר המקורי הוא 4,096 טוקנים בלבד, ומתיחה שלו מעבר לזה בשיטות כמו NTK עלולה לפגוע בדיוק של התשובות.
אותה משפחה
chinese-alpaca-2 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם המודל מבין או מייצר עברית?
לא, הוא אומן על סינית ואנגלית בלבד. כל ניסיון לכתוב אליו בעברית יוביל לתוצאות שבורות ולא אמינות.
מה ההבדל בין הקובץ הזה לגרסאות הלורה של הפרויקט?
זהו המודל המלא שכולל את כל המשקלים יחד, כך שאפשר להריץ אותו מיד. גרסאות הלורה כוללות רק את שכבת השינויים ומחייבות אתכם לחבר אותן ידנית למשקלי הבסיס.
אפשר להריץ אותו על המעבד בלי כרטיס גרפי?
כן, בעזרת כלים כמו llama.cpp אפשר לכווץ אותו לגרסאות מכומתות ולהריץ אותו ישירות על המעבד של המחשב, אם כי קצב יצירת הטוקנים יהיה אטי יותר מאשר על כרטיס מסך ייעודי.
איך מריצים
המשקלים מגיעים בפורמט של כמעט 13 גיגה בייט בנקודה צפה של 16 ביט, כך שכרטיס מסך ביתי בודד עם 16 גיגה זיכרון יספיק להסקה. אם אתם רוצים לאמן את כל הפרמטרים מחדש תצטרכו חומרה חזקה משמעותית, או שתעברו לגרסאות הלורה שהצוות פרסם במקביל.
בזכות התאימות לאקוסיסטם של לאמה אפשר להריץ אותו בקלות דרך ספריות כמו טרנספורמרס, llama.cpp או vLLM. אם אתם רק צריכים מענה חד פעמי בסינית ולא בונים מערכת מקומית או מאובטחת, עדיף לפנות לשרת מרוחק במקום לתחזק שרת ייעודי.
from transformers import pipeline
pipe = pipeline("text-generation", model="hfl/chinese-alpaca-2-7b")
print(pipe("שלום"))הקבצים
11 קבצים במאגר, 12.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הפרויקט מדווח תחת רישיון אפאצ'י 2.0 שמתיר שימוש מסחרי, שינוי קוד והפצה חופשית. עם זאת, מכיוון שהבסיס נשען על התשתית של לאמה 2, חלים עליכם במקביל תנאי השימוש והמגבלות של מטא לשימוש מסחרי רחב היקף.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים