chinese-llama-2-7b
קוד פתוחhflapache-2.02023-07-27
גרסה מותאמת של מודל הבסיס של מטא עם אוצר מילים מורחב ואימון ייעודי לסינית. מתאים למי שבונה פתרונות בשפה הזו ומחפש מודל בסיס פתוח.
- 4,096טוקנים בהקשר
- 12.9 GBמשקל הקבצים
- 6,210הורדות בחודש
- 102לייקים
מה זה
מדובר במודל שפותח על בסיס לאמה 2, כשהדגש המרכזי של הצוות היה להרחיב את אוצר המילים המקורי כדי שיתמוך היטב בסינית, מעבר לאנגלית שכבר נתמכת מהמקור. הם לקחו את הארכיטקטורה הבסיסית והריצו עליה אימון מקדים נוסף עם נפח גדול של נתונים בסינית, במטרה לשפר את ההבנה הסמנטית של השפה לעומת מודל הבסיס הסטנדרטי.
זהו מודל בסיס ולא מודל שיחה, מה שאומר שהוא מייצר המשכי טקסט ולא עונה להוראות ישירות. למי שמחפש מודל שכבר עבר התאמה לשיחה והנחיות, אותו צוות מציע את גרסאות האלפקה, אבל הגרסה הזו מיועדת למי שרוצה בסיס נקי כדי לאמן אותו הלאה על נתונים משלו.
מתאים ל
- אימון נוסף לסינית
נקודת מוצא טובה לכוונון על נתונים ארגוניים בסינית בזכות אוצר המילים המורחב.
- השלמת טקסט דו-לשוני
מייצר המשכי טקסט שמשלבים אנגלית וסינית בלי להישבר במעבר ביניהן.
- הטמעה מקומית מותאמת
מתאים להרצה על חומרה עצמאית בסביבות שאינן מאפשרות הוצאת נתונים לרשת.
איפה זה נופל
זה מודל בסיס בלבד. הוא לא עבר fine-tuning להוראות או לצ'אט, ולכן אם תתנו לו פקודה ישירה הוא כנראה פשוט ימשיך את המשפט במקום לבצע אותה. בנוסף, חלון ההקשר המקורי עומד על 4,096 טוקנים בלבד, כך שהוא לא יתמודד טוב עם מסמכים ארוכים בלי הרחבות ייעודיות.
שאלות
נפוצות
האם המודל מבין ומייצר עברית?
האימון הנוסף התמקד כולו בסינית על בסיס מודל שאומן בעיקר באנגלית. הוא לא נבנה עבור עברית ולא מומלץ להסתמך עליו בעיבוד טקסטים בעברית.
האם אפשר להשתמש בו ישירות כבוט לצ'אט?
לא מומלץ, כי זהו מודל בסיס שמשלים טקסט ולא עבר אימון הנחיות. לצ'אט עדיף לפנות לגרסאות ה־Alpaca של אותו פרויקט שעברו התאמה ייעודית לשיחה.
איך מריצים
המשקל הכולל של הקבצים עומד על כמעט 13 גיגה בייט בדיוק של float16, כך שצריך כרטיס מסך עם לפחות 16 גיגה בייט של זיכרון כדי לטעון אותו ישירות בצורה מלאה להסקה. הוא נתמך ישירות בספריית transformers ומתאים גם לכלים כמו llama.cpp ו־vLLM אם רוצים לכווץ אותו לרוץ על מחשב אישי או מעבד.
אם אין לכם צורך מוגדר בריצה מקומית בגלל פרטיות או רגולציה סביב המידע, עדיף להשתמש במודל גדול יותר דרך שירות ענן, כי מודל בגודל הזה ידרוש מכם תחזוקת שרתים שלא תמיד מצדיקה את התוצאה.
from transformers import pipeline
pipe = pipeline("text-generation", model="hfl/chinese-llama-2-7b")
print(pipe("שלום"))הקבצים
10 קבצים במאגר, 12.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הפרויקט מדווח תחת רישיון apache-2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקוד והמשקלים, והפצה מחדש במוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים המקורית וכתב הוויתור.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים