openchat-3.5-1210-GGUF

קוד פתוח

TheBlokeapache-2.02023-12-14

transformers
gguf
mistral
openchat
C-RLFT

גרסת כימות של מודל שיחה שמתמחה בקוד ובפתרון בעיות, ומציע חלופה קלה להתקנה מקומית בלי תלות בשרתים חיצוניים.

51.2 GBמשקל הקבצים
2,989הורדות בחודש
51לייקים

מה זה

מדובר במודל שמבוסס על Openchat 3.5 בגרסת עדכון מדצמבר, ארוז בפורמט GGUF להרצה יעילה על מעבדים וכרטיסי מסך ביתיים. המפתחים שלו כיוונו אותו לעבודה בשני מצבים עיקריים, כתיבת קוד לצד משימות שיחה כלליות, וחשיבה מתמטית. לפי נתוני היוצרים, הגרסה הזו מציגה שיפור של 15 נקודות במשימות תכנות בהשוואה לגרסה המקורית של המודל.

היתרון שלו על פני מודלים אחרים בקטגוריית המשקל הקלה נובע משיטת האימון על נתונים באיכות מעורבת, שנועדה לחלץ דיוק גבוה יותר במענה לשאלות טכניות. הוא כולל תמיכה ניסיונית במתן משוב ובהערכת תשובות, אם כי ייעודו המרכזי נשאר צ'אט וייצור טקסט ישיר.

מתאים ל

עוזר פיתוח מקומי
מתאים לכתיבת קוד ובדיקת שגיאות על מחשב אישי בלי לשלוח שורות קוד לרשת.
פתרון בעיות מתמטיקה
מיועד להסבר שלבי פתרון ותרגול תרגילי חישוב והיגיון הדורשים מעקב מובנה.
בוט שירות פרטי
מספק יכולת שיחה יציבה וזולה למערכות פנימיות שדורשות שמירה על פרטיות.

איפה זה נופל

המודל מחייב שימוש בתבנית הפרומפט המדויקת של המפתחים, שכוללת את המחרוזת ייעודית לפניה ולתשובה. סטייה מהתבנית פוגעת קשות באיכות המענה. מעבר לכך, מדובר במודל קומפקטי יחסית, כך שהוא עלול להזות עובדות בנושאים מורכבים ואינו מחליף מודלי ענק במשימות ניתוח מעמיקות. התמיכה שלו במתן ציונים והערכות מוגדרת כניסיונית בלבד.

שאלות
נפוצות

איזה קובץ הכי כדאי להוריד מתוך המאגר?

לרוב המשתמשים מומלץ לבחור בגרסת Q4_K_M. היא שומרת על איזון מעולה בין גודל קובץ של 4.37 גיגה בייט לבין רמת דיוק שקרובה מאוד למודל המלא. אם יש לכם זיכרון פנוי בכרטיס המסך, גרסת Q5_K_M תיתן תוצאה חדה יותר.

האם חייבים כרטיס מסך של אנבידיה בשביל להריץ אותו?

לא. קובצי GGUF בנויים במיוחד לרוץ ישירות על מעבד המחשב וזיכרון הראם הרגיל. יחד עם זאת, הרצה על כרטיס מסך מאיצה את קצב ייצור המילים לשנייה באופן מורגש.

איך מריצים

כדי להריץ אותו לא צריך תחנת עבודה יקרה. קובץ ה־Q4_K_M שוקל 4.37 גיגה בייט ודורש כ־6.87 גיגה בייט זיכרון עבודה בהרצה מלאה על המעבד, או כרטיס מסך בסיסי עם 8 גיגה בייט זיכרון כדי לפרוק אליו את כל השכבות. גרסאות נמוכות כמו Q2 או Q3 יחסכו מקום אבל ישחקו את איכות הפלט, בעוד ש־Q5_K_M ו־Q6 יספקו איכות קרובה למקור במחיר של צריכת זיכרון שבין 7.6 ל־8.5 גיגה בייט.

מריצים אותו בקלות דרך llama.cpp, תוכנות שולחניות כמו LM Studio, או ספריית llama-cpp-python. אם אין לכם חומרה ייעודית בכלל ותרצו מהירות גבוהה בעומס של משתמשים רבים, עדיף להשתמש ב־API מוכן.

ollama run hf.co/TheBloke/openchat-3.5-1210-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q8_07.7 GB Q6_K5.9 GB Q5_K_M5.1 GB Q5_05.0 GB Q5_K_S5.0 GB Q4_K_M4.4 GB Q4_K_S4.1 GB Q4_04.1 GB Q3_K_L3.8 GB Q3_K_M3.5 GB Q3_K_S3.2 GB Q2_K3.1 GB

הקבצים

15 קבצים במאגר, 51.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש חופשי לחלוטין, כולל שינוי הקוד, הפצה ושימוש מסחרי ישיר במוצרים, בתנאי ששומרים על הודעות זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗