ChatGLM-6B

מה זה

כותבים טקסט בשורת הקלט ומקבלים מענה ישיר בחלון הצ'אט. הממשק שומר היסטוריית שיחה בסיסית בתוך הרכיב של גרדיו, כך שאפשר להמשיך ברצף שאלות ותשובות מול המודל.

מאחורי הקלעים רץ המודל ChatGLM-6B מבית THUDM, שנטען בפורמט חצי דיוק (FP16) ישירות לכרטיס המסך כדי לחסוך בזיכרון. זהו מודל שפה פתוח שנועד במקור לשיחה בדומה למודלים אחרים מאותו סדר גודל, אך הממשק עצמו מינימליסטי מאוד ואינו מציע דוגמאות מובנות מראש או כפתורי עזר.

מתאים ל

• בדיקת שיחה בסיסית

  שליחת שאלות באנגלית ובחינת איכות התשובות וההיגיון של המודל.

• הערכת מהירות בחומרה קלה

  בדיקת קצב היצירה של מודל קל יחסית שרץ על כרטיס T4 יחיד.

• שכפול קוד לדמו עצמאי

  שימוש בקוד הקיים כבסיס לפרויקט גרדיו משלכם להרצת מודלים דומים.

איפה זה נופל

האפליקציה במצב PAUSED כרגע, מה שאומר שהיא פשוט לא מגיבה ולא מייצרת פלט. מעבר לזה, הממשק לא מאפשר שליטה על פרמטרים כמו טמפרטורה או אורך מקסימלי לתשובה, כך שאתם מוגבלים לחלוטין לברירות המחדל שהוגדרו בקוד המקורי. מי שמחפש עברית איכותית יגלה מהר שמודל כזה נבנה בעיקר לסינית ואנגלית, ואינו מותאם לשפות שמיות.

איך משתמשים

מקלידים את השאלה בתיבת הטקסט ולוחצים אנטר או על כפתור Generate שנמצא לצדה. הקוד מריץ את התשובה על גבי מעבד גרפי מדגם t4-medium, כך שזמן התגובה סביר להדגמה מסוג זה. יחד עם זאת, כרגע האפליקציה נמצאת במצב מושהה ולא רצה באופן פעיל, ולכן לא ניתן להשתמש בה ישירות בדפדפן בלי להפעיל אותה מחדש או לשכפל את החלל לחשבון שלכם.

הרישיון

האפליקציה מפורסמת תחת רישיון MIT, מה שמעניק חופש רחב להעתיק, לשנות ולהריץ את הקוד באופן פרטי או מסחרי. המודל עצמו נטען ישירות מהמאגר של THUDM.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗