openchat-3.5-1210

מה זה

המודל מבוסס על הארכיטקטורה של מיסטרל בנפח של שבעה מיליארד פרמטרים, ואומן בשיטה שנקראת C-RLFT על אוספי נתונים פומביים כמו ShareGPT, Capybara ונתוני מתמטיקה שונים. הייחוד שלו לעומת הגרסה הבסיסית הוא פיצול לשני מצבי עבודה דרך תבניות שיחה שונות, אחד למשימות כלליות וקוד, והשני שמוגדר במפורש לחישובים והסקה מתמטית.

במבחני ביצועים הוא עוקף מודלים פתוחים אחרים בגודל שלו, ובחלק מהמדדים עומד מול גרסאות מוקדמות של שירותים מסחריים. במבחן HumanEval הוא מגיע לציון של 68.9 נקודות, שיפור של כמעט 15 נקודות מהגרסה שקדמה לו, ובמדד GSM8K שמודד בעיות מילוליות בחשבון הוא מציג 77.3 אחוזים. בפועל, המשמעות היא יכולת גבוהה יחסית לייצר פונקציות קוד שעוברות טסטים ולפתור בעיות לוגיות בלי לקרוס על תחביר בסיסי, כל עוד מקפידים על הפרומפט הנכון.

מתאים ל

• השלמת קוד מקומית

  התוצאות שלו במבחני קוד מאפשרות לשלב אותו כעוזר פיתוח מקומי על חומרה ייעודית.

• פתרון בעיות חשבון

  מצב ההסקה המתמטית נותן לו יתרון בפירוק בעיות חישוביות דרך הגדרת תבנית מתאימה.

• הערכת תשובות של מודלים

  יש לו תמיכה ניסיונית במתן ציונים ומשוב לטקסטים שנכתבו על ידי מודלים אחרים.

איפה זה נופל

למרות הציונים הגבוהים, המודל סובל מהמגבלות של מודלי שבעה מיליארד פרמטרים. במשימות חשיבה מורכבות מאוד, אלגוריתמים עמוקים או בעיות מתמטיות רב שלביות הוא עדיין נוטה לטעות ולהמציא נתונים שלא קיימים. אין לו מנגנוני בטיחות פנימיים מובנים, והכרטיס מצהיר בפירוש שהוא עלול לפלוט מידע שגוי, הטיות ותוכן פוגעני. בנוסף, הוא אומן כמעט לחלוטין באנגלית, כאשר נתונים בשפות אחרות כמו סינית היו פחות מעשירית האחוז מכלל המידע, כך שאי אפשר לבנות עליו לעבודה בעברית ללא כוונון נוסף.

איך מריצים

בשביל להריץ אותו צריך כרטיס מסך עם לפחות 24 גיגה זיכרון כדי לעבוד עם משקלי המקור בדיוק מלא. היוצרים ממליצים להרים אותו באמצעות שרת API ייעודי שמבוסס על ספריית vLLM, שמאפשר לתשאל אותו באותו מבנה פקודות של OpenAI דרך פורט מקומי, כולל תמיכה בחלוקת עומסים על כמה כרטיסים במקביל.

אם יש לכם מחשב מקומי פשוט או כרטיס מסך ביתי צנוע יותר, לא תצליחו לטעון את קובצי המשקל המקוריים ששוקלים מעל 13 גיגה בייט. במצב כזה, עדיף לפנות לשירותי ענן לפי שעה או לצרוך מודל דרך שירות מוכן במקום להחזיק שרת ייעודי.

from transformers import pipeline

pipe = pipeline("text-generation", model="openchat/openchat-3.5-1210")
print(pipe("שלום"))

הקבצים

14 קבצים במאגר, 13.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00003.safetensors5.0 GB
• model-00001-of-00003.safetensors4.9 GB
• model-00003-of-00003.safetensors4.5 GB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• model.safetensors.index.json23.9 KB
• README.md17.7 KB
• tokenizer_config.json1.6 KB
• .gitattributes1.5 KB
• config.json623 B
• openchat.json539 B
• special_tokens_map.json502 B
• generation_config.json179 B
• added_tokens.json53 B

הרישיון

המודל והקוד שלו מופצים תחת רישיון אפאצ'י 2.0. הרישיון הזה מתיר שימוש מסחרי חופשי לחלוטין, כולל שינוי המשקלים, הטמעה בתוך מוצר פרטי ומכירה שלו, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי בקבצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗