chatglm2-6b-4bit
רץ בדפדפןmikeeeרישיון לא דווח2023-06-27
ממשק צ׳אט שמריץ גרסה מכווצת של מודל השפה ChatGLM2 עם 6 מיליארד פרמטרים. הוא מיועד למי שמחפש שיחה מול המודל הזה ישירות בדפדפן בלי להוריד משקלים כבדים.
- —הורדות בחודש
- 96לייקים
מה זה
אתם מקלידים טקסט בתיבת השיחה ומקבלים מענה ישיר שמרונדר עם תמיכה בעיצוב מתמטי. המערכת מחזיקה היסטוריית שיחה, מאפשרת למחוק את התור האחרון או לייצר תגובה מחדש, ומציגה סליידרים ידניים לשליטה באורך המקסימלי, במדד top_p ובטמפרטורה. יש בממשק גם אזור מובנה של דוגמאות קלט מוכנות ואקורדיון ייעודי לתרגום ולפניות במבנה דמוי API.
מאחורי הקלעים הקוד טוען את המודלים zai-org/chatglm2-6b או גרסת zai-org/chatglm2-6b-int4. הרעיון כאן הוא שימוש בכימות ל־4 ביט כדי לחסוך זיכרון ולרוץ על כרטיסי מסך צנועים יותר, תוך הסתמכות על קוד מקור חיצוני מספריות transformers.
מתאים ל
- בדיקת מודל מכווץ
הערכה מהירה של איכות התשובות בגרסת 4 ביט מול שאלות יומיומיות.
- ניסויי תרגום ישירים
שימוש בחלק הייעודי בממשק לתרגום משפטים ובדיקת יכולות דו-לשוניות.
- כוונון פרמטרי יצירה
משחק עם הטמפרטורה והאורך המקסימלי כדי לראות איך המודל מגיב.
איפה זה נופל
הבעיה המרכזית כרגע היא טכנית לחלוטין, הדף מדווח על שגיאת ריצה ולא עובד כלל. מעבר לזה, המודל עצמו מכויל ל־4 ביט, כך שתשובות מורכבות עלולות לאבד דיוק ביחס לגרסה המלאה, והקוד דורש הרצת סקריפטים חיצוניים שלא תמיד נבדקים במלואם.
שאלות
נפוצות
האם הכלי זמין לשימוש עכשיו?
לא, כרגע הוא במצב תקלה פנימי ואי אפשר להתחיל שיחה. תצטרכו להמתין שהמפתח יתקן את שגיאת הריצה בשרת. רק לאחר תיקון הקוד הדף יחזור לעבוד.
האם השימוש כאן עולה כסף?
לא, הממשק פתוח ואינו דורש תשלום כלשהו. אתם גם לא צריכים להזין פרטי אשראי או להירשם. הגישה חופשית לגמרי דרך הדפדפן ברגע שהעמוד תקין.
במה הדף הזה שונה מהמודל המקורי?
הגרסה הזו רצה בכימות של 4 ביט כדי לחסוך משאבים על שרת t4-medium. זה גורם לה לעבוד על חומרה חלשה יותר בהשוואה למודל הרגיל. החיסרון הוא פגיעה מסוימת ברמת הדיוק של הטקסט.
איך משתמשים
בפועל נכנסים לדף, מקלידים שאלה ולוחצים על Submit. אין צורך בהתחברות או בהרשמה מראש. השרת יושב על מעבד גרפי מסוג t4-medium, מה שאמור לספק קצב יצירה סביר לשיחה פשוטה, אבל כרגע זה לא יקרה כי העמוד תקוע במצב של שגיאת ריצה עוד לפני שהממשק עלה.
הרישיון
הרישיון של המרחב לא דווח כלל על ידי היוצר. במצב כזה אין הרשאה ברורה להשתמש בפלט או בקוד לפרויקטים מסחריים, וכל מה שאתם מקלידים נשלח למעשה לשרתי האחסון הציבוריים של הפלטפורמה.