chinese-alpaca-2-13b

מה זה

מדובר במודל הוראות שמבוסס על לאמה 2 של מטא, שעבר אימון נוסף כדי לשפר את השליטה בשפה הסינית. היוצרים הרחיבו את אוצר המילים המקורי של לאמה והמשיכו את שלב האימון המקדים עם נתונים בסינית בהיקף נרחב, ולאחר מכן ביצעו כוונון עדין למענה על הוראות.

ההבדל העיקרי מול לאמה 2 הרגיל הוא היכולת לטפל בטקסטים בסינית ביעילות גבוהה יותר, בלי לאבד את הבסיס האנגלי. המודל שומר על ארכיטקטורת השכבות המקורית עם 40 שכבות, אבל הטוויק באוצר המילים ובמשקלים מכוון ישירות לחסוך טוקנים ולשפר הבנה סמנטית בסינית.

מתאים ל

• עיבוד טקסט בסינית

  מתאים לניתוח, סיכום ומענה על שאלות במסמכים בסינית בזכות אוצר המילים המורחב.

• תרגום בין סינית לאנגלית

  עובד היטב במשימות דו לשוניות בין שתי השפות שהוטמעו בו באימון.

• סוכן שיחה מקומי בסינית

  מיועד להרצה מקומית עבור צ'אט בסינית ללא תלות ברשת חיצונית.

איפה זה נופל

המודל מוגבל לשפות סינית ואנגלית בלבד, ואין לו תמיכה מובנית בעברית. חלון ההקשר עומד על 4,096 טוקנים, ולמרות שניתן להרחיב אותו באמצעות שיטת NTK, בברירת המחדל הוא קצר יחסית לטקסטים ארוכים.

הוא יצא באוגוסט 2023 ומבוסס על הדור של לאמה 2, כך שהוא לא מכיר מידע עדכני. צריך לבדוק אותו היטב מול הזיות במענה על שאלות מורכבות לפני שמשלבים אותו במערכת אמיתית.

אותה משפחה

chinese-alpaca-2 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקלים תופסים 24.7 ג'יגה בייט בפורמט חצי דיוק, מה שאומר שצריך כרטיס מסך עם זיכרון ייעודי שמסוגל להחזיק נפח כזה רק עבור המודל עצמו. טעינה של גרסה מלאה כזו דורשת חומרה שרתית מתאימה או שימוש בקוונטיזציה בספריות כמו llama.cpp כדי לדחוס אותו למחשב אישי.

אם יש לכם שרת ייעודי ואתם מריצים שאילתות מקומיות דרך transformers או vLLM, זו אופציה טובה. אם אין לכם את החומרה או שאתם צריכים רק בדיקות מזדמנות, עדיף להשתמש בפתרון מנוהל כדי לחסוך את עלויות התשתית וההורדה של 11 הקבצים.

from transformers import pipeline

pipe = pipeline("text-generation", model="hfl/chinese-alpaca-2-13b")
print(pipe("שלום"))

הקבצים

11 קבצים במאגר, 24.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00003.bin10.2 GB
• pytorch_model-00002-of-00003.bin9.9 GB
• pytorch_model-00003-of-00003.bin6.4 GB
• tokenizer.model844.4 KB
• pytorch_model.bin.index.json33.4 KB
• README.md2.7 KB
• .gitattributes1.5 KB
• tokenizer_config.json766 B
• config.json609 B
• special_tokens_map.json435 B
• generation_config.json166 B

הרישיון

הרישיון המדווח הוא אפאצ'י 2.0, שמאפשר שימוש חופשי ושינוי של הקוד והמשקלים, כולל שימוש מסחרי, כל עוד שומרים על תנאי הרישיון ומתן הקרדיט הנדרש.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗