calm2-7b-chat

מה זה

מדובר בגרסת שיחה שמבוססת על הארכיטקטורה של לאמה, שעברה התאמה ואימון ייעודי על ידי חברת CyberAgent עבור השוק היפני. רוב המודלים הפתוחים בגודל הזה מגיעים עם חלון הקשר קצר בהרבה, אבל כאן תקבלו תמיכה ברצף של 32,768 טוקנים. זה אומר שאפשר להזין לו שיחות עמוקות או טקסטים שלמים בלי לחתוך אותם מראש, בתנאי שהתוכן ביפנית או באנגלית.

המשקל שלו ברשת עומד על קצת מעל 26 גיגה בייט בגלל דיוק של bfloat16, והוא בנוי בפורמט השיחה הקלאסי של משתמש ועוזר. המפתח הוא ריוסוקה אישיגאמי, והמטרה כאן היא בבירור לספק מענה מקומי למי שבונה שירותי צ'אט ומחפש מודל קל יחסית שמתמודד היטב עם יפנית, שפה שמודלים מערביים רבים נוטים לעוות או לייקר מאוד בעיבוד הטוקנים שלה.

מתאים ל

• צ'אטבוט מבוסס יפנית

  הוא עבר כוונון ייעודי לשיחה דווקא בשפה הזו ומבין הקשר מקומי היטב.

• סיכום מסמכים ארוכים

  חלון של כמעט 33 אלף טוקנים מאפשר לקרוא דוחות שלמים באנגלית וביפנית.

• הטמעה מקומית בארגון

  גודל שבעה מיליארד פרמטרים שרץ על שרת יחיד תחת רישיון מסחרי חופשי.

איפה זה נופל

המודל תומך ביפנית ובאנגלית בלבד, כך שעברית לא קיימת כאן בכלל ואפילו לא כדאי לנסות. אין בכרטיס המודל תוצאות של מבחני ביצועים או השוואות מספריות, ולכן קשה לדעת מראש איך הוא עומד במשימות היגיון מורכבות. בנוסף, חלון של 32 אלף טוקנים על כרטיס מקומי יזלול זיכרון במהירות ויאט את קצב הייצור אם תנצלו את כולו.

איך מריצים

טעינה של המודל נעשית ישירות דרך ספריית transformers ודורשת גרסה 4.34.1 ומעלה יחד עם accelerate. בגלל גודל הקבצים והדיוק המקורי, תצטרכו כרטיס מסך עם לפחות 16 עד 24 גיגה זיכרון כדי להחזיק אותו בזיכרון בבטחה בלי קוונטיזציה.

אם אתם צריכים רק שאילתות בודדות או שאין לכם תשתית עם מאיץ גרפי מתאים, עדיף לפנות למודל חיצוני דרך שירות ענן. להריץ אותו לבד משתלם בעיקר אם הפרטיות קריטית או שיש לכם צורך בעיבוד מקומי קבוע ביפנית.

from transformers import pipeline

pipe = pipeline("text-generation", model="cyberagent/calm2-7b-chat")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 26.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00002.bin10.0 GB
• model-00001-of-00002.safetensors10.0 GB
• pytorch_model-00002-of-00002.bin4.0 GB
• model-00002-of-00002.safetensors4.0 GB
• tokenizer.json3.3 MB
• model.safetensors.index.json25.1 KB
• pytorch_model.bin.index.json23.9 KB
• README.md2.1 KB
• .gitattributes1.5 KB
• tokenizer_config.json678 B
• config.json669 B
• special_tokens_map.json585 B
• generation_config.json132 B

הרישיון

רישיון apache-2.0 מאפשר שימוש מסחרי מלא בלי תשלום תמלוגים. אתם יכולים להריץ אותו במוצר שלכם, לשנות אותו, ואפילו להפיץ עותקים, בתנאי שאתם שומרים על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗