WestLake-7B-v2

מה זה

מדובר במודל שבעה מיליארד פרמטרים שמבוסס על ארכיטקטורת מיסטרל, ואומן במשך שלושה מחזורים מלאים כדי להתמקד בשיחות עמוקות ויצירת טקסט. המפתחים שלו ייעדו אותו ספציפית לתרחישי משחק תפקידים, התאמה לפרסונות מגוונות וכתיבת עלילות, תוך שמירה על עקביות של הדמות לאורך זמן.

במבחני הביצועים של הלוח הפתוח הוא השיג ציון ממוצע של 74.68, עם תוצאות של 88.65 בבדיקת הלסוואג ו־64.71 בידע כללי בסיסי. המספרים האלה מראים שהוא מחזיק קו עלילתי והקשר בצורה טובה מאוד לגודל שלו, אבל הוא לא מיועד למשימות אנליטיות מורכבות או קידוד כבד.

מתאים ל

• דמויות במשחקי מחשב

  הוא יודע לנהל דיאלוגים מורכבים בתוך עולמות דמיוניים ולשמור על אופי עקבי של דמות לא שחקן.

• כתיבת סיפורים ועלילות

  מתאים לעזרה ברעיונות, כתיבת דיאלוגים ופיתוח תרחישים ספרותיים באנגלית בזכות יכולת ניסוח טובה.

• אימון ותרגול שיחה באנגלית

  אפשר לבנות איתו סנאריו מוגדר מראש שבו המשתמש מתרגל שיחה מקצועית או יומיומית מול פרסונה מותאמת.

איפה זה נופל

המודל אומן אך ורק באנגלית, כך שאין מה לבנות עליו לעבודה בעברית. כל ניסיון לכתוב איתו בעברית יוביל לפלט משובש או שבור לחלוטין.

התוצאה שלו במבחן מתמטיקה עומדת על 67.63, וזה אומר שהוא נוטה לטעויות בחישובים ובהיגיון נוקשה. המפתחים מדגישים שהאיכות תלויה לחלוטין ברמת הדיוק של ההנחיות שלכם, ואם לא תגדירו לו גבולות ברורים, הוא עלול לאבד את הדמות או לייצר תוכן לא יציב.

איך מריצים

כדי להריץ אותו בדיוק המקורי של 16 ביט צריך כרטיס מסך עם לפחות 16 גיגה זיכרון גרפי, בהתחשב במשקל הקבצים שמגיע ל־13.5 גיגה. שימוש בספריות כמו טרנספורמרס מאפשר להעלות אותו ישירות בסביבת פייתון מקומית או על שרת ענן פשוט.

אם אתם מתכננים להריץ אותו על חומרה ביתית צנועה יותר, תצטרכו לכווץ אותו לקוונטיזציה של 4 או 8 ביט. למי שצריך תגובות מהירות בלי לתחזק שרת ייעודי שעובד סביב השעון, עדיף להשתמש במודל גדול יותר דרך שירות חיצוני.

from transformers import pipeline

pipe = pipeline("text-generation", model="senseable/WestLake-7B-v2")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 13.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00003.safetensors5.0 GB
• model-00001-of-00003.safetensors4.9 GB
• model-00003-of-00003.safetensors4.5 GB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• model.safetensors.index.json23.9 KB
• README.md7.0 KB
• .gitattributes1.5 KB
• tokenizer_config.json1.0 KB
• config.json682 B
• special_tokens_map.json511 B
• generation_config.json111 B
• .gitignore19 B

הרישיון

הוא מופץ תחת רישיון אפאצ'י 2.0 המלא. זה אומר שמותר להשתמש בו לצרכים מסחריים, לשנות אותו ולהפיץ אותו בתוך מוצר סגור, בלי צורך לשלם תמלוגים. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים של המקור וצירוף עותק של הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗