ChatGLM-6b_Gradio_Streaming

מה זה

מקלידים טקסט בתיבת הקלט, לוחצים על כפתור ההרצה ומקבלים תגובה בחלון הצ'אט. הממשק חושף גם שליטה בסיסית בפרמטרים של יצירת הטקסט, עם מחוונים עבור temperature בין 0 ל־5 ו־top-p בין 0 ל־1, כך שאפשר לקבוע כמה התשובה תהיה מגוונת או צפויה.

מאחורי הקלעים הקוד טוען את zai-org/chatglm-6b או THUDM/chatglm-6b בדיוק של חצי (half precision) ומריץ אותו על גבי כרטיס מסך. יש בקוד גם אזכור למודל התרגום facebook/m2m100_418M, אם כי השורות שלו מסומנות בהערה.

מתאים ל

• בדיקת ChatGLM-6B

  התנסות ביכולות השיחה והתגובה של המודל ישירות מהדפדפן.

• כיוונון פרמטרים

  משחק עם ערכי temperature ו־top-p כדי לראות איך הם משפיעים על הפלט.

• בסיס לפרויקט Gradio

  שכפול הקוד ובניית ממשק הזרמה מותאם אישית למודל שפה.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה פשוט לא עובדת וקורסת בשגיאת ריצה, כך שאי אפשר להתנסות בה כרגע ישירות בדפדפן. בנוסף, מודל התרגום m2m100 מופיע בהערות בקוד ולכן לא פעיל בפועל, ואין כאן תמיכה בהעלאת קבצים או יכולות מתקדמות מעבר לצ'אט טקסטואלי בסיסי.

איך משתמשים

השימוש פשוט, כותבים הודעה בתיבה ולוחצים על Run או לוחצים אנטר, ויש גם כפתור ייעודי לאיפוס היסטוריית השיחה. המערכת מוגדרת לרוץ על חומרת t4-medium, אבל נכון לעכשיו היא תקועה במצב של תקלת ריצה (RUNTIME_ERROR). אם היא הייתה פועלת, הממשק עצמו מציע לשכפל את המרחב כדי לעקוף תורים אפשריים ולקבל ביצועים מהירים יותר.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי בקוד, כולל העתקה, שינוי והפצה. המודלים שנטענים מבחוץ עשויים להיות כפופים לתנאי שימוש נפרדים של יוצריהם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗