openchat_3.5

מה זה

הבסיס כאן הוא Mistral עם ארכיטקטורת 32 שכבות, שעבר אימון בשיטה שנקראת C-RLFT. השיטה הזו מאפשרת למודל ללמוד ממאגרי מידע באיכויות מעורבות בלי צורך בתיוג ידני של העדפות, וכך הוא מצליח לסחוט יכולות שיחה גבוהות ממספר פרמטרים צנוע.

במבחני ביצועים הוא קיבל ציון 7.81 ב־MT-Bench, שמציב אותו מעל מודלים פתוחים גדולים בהרבה של 70B ומאוד קרוב ל־ChatGPT ממרץ 2023 שקיבל 7.94. במבחן הקוד HumanEval הוא הגיע ל־55.5 ובמבחן המתמטיקה GSM8k ל־77.3, מה שמראה יכולת פתרון בעיות טובה יחסית לגודל שלו, אם כי במבחני חשיבה מורכבים כמו MMLU הוא עדיין עומד על 64.3 ונשאר מוגבל ביחס למודלים ענקיים.

מתאים ל

• בוט שיחה עצמאי

  הוא מציג ציון 7.81 ב־MT-Bench ויכול לשמש כעוזר שיחה מקומי שלא דורש שרתי ענק.

• עוזר לפיתוח קוד בסיסי

  כולל מצב ייעודי לכתיבת קוד והגיע לתוצאה של 55.5 במבחן HumanEval.

• מערכת מענה על שאלות

  תומך בחלון הקשר של 8,192 טוקנים ומאפשר שליפת מידע מטקסטים ארוכים.

איפה זה נופל

למרות הציונים היפים, המודל סובל מכל המגבלות של מודלי בסיס קטנים. הוא נוטה להזיות של מידע שאינו קיים, מתקשה במשימות חשיבה מורכבות, ועלול להיכשל בחישובים מתמטיים או באתגרי תכנות מסובכים. היוצרים מציינים במפורש שהוא מייצר לעיתים תוכן פוגעני, מוטה או תשובות לשאלות לא בטוחות, ולכן חובה להציב מנגנוני סינון ובקרה לפני שחושפים אותו למשתמשי קצה.

איך מריצים

המשקל הכולל של הקבצים הוא 13.5GB בפורמט bfloat16. כדי להריץ אותו בהספק סביר תצטרכו כרטיס מסך מקומי עם 24GB זיכרון, והמפתחים ממליצים להשתמש בשרת API מבוסס vLLM שתומך בפרוטוקול של OpenAI ישירות בפורט 18888.

אפשר להריץ אותו גם דרך transformers הרגיל אבל הביצועים יהיו איטיים משמעותית. אם אין לכם חומרה ייעודית עם 24GB VRAM או שאתם לא צריכים שרת שרץ מקומית מטעמי פרטיות, פשוט יותר לצרוך מודלים דרך API חיצוני ולא לתחזק שרת עצמאי.

from transformers import pipeline

pipe = pipeline("text-generation", model="openchat/openchat_3.5")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 13.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00002.bin9.9 GB
• pytorch_model-00002-of-00002.bin4.5 GB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• pytorch_model.bin.index.json23.9 KB
• README.md13.0 KB
• tokenizer_config.json1.6 KB
• .gitattributes1.5 KB
• openchat.json669 B
• config.json623 B
• special_tokens_map.json491 B
• generation_config.json179 B
• added_tokens.json53 B

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0 מלא. זה אומר שמותר להשתמש בו לצרכים מסחריים, לשנות את הקוד והמשקולות ולהטמיע אותו במוצרים פנימיים או חיצוניים בלי לשלם תמלוגים, כל עוד שומרים על תנאי הרישיון המקוריים ומצרפים את הקרדיט הנדרש.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗