qwen-chat-demo
רץ בדפדפןartificialguybrרישיון לא דווח2023-09-25
ממשק שיחה שמאפשר לבחור בין כמה גרסאות של מודל השפה Qwen ולהתכתב איתן בזמן אמת. מתאים למי שרוצה לבדוק יכולות של דגמי משקל שונים בלי להתקין סביבת פיתוח.
- —הורדות בחודש
- 80לייקים
מה זה
אתם כותבים הודעת טקסט בחלון השיחה, בוחרים מודל מתוך תפריט, ומקבלים תשובה שמוזרמת מילה אחרי מילה. הממשק מאפשר לקבוע גם פרמטרים בסיסיים כמו טמפרטורה, top_p וכמות טוקנים מקסימלית לתשובה, לצד כפתורי ניקוי ויצירה מחדש.
מאחורי הקלעים רצים דגמים ממשפחת Qwen של עליבאבא, מגרסאות קטנות כמו 2B ועד גרסאות של 9B או 14B בכימות FP8. הקוד טוען את המשקלים של הדגם שנבחר ישירות מהמאגר של Hugging Face ברגע שמבקשים לשוחח איתו, ומחליף אותו בזיכרון אם בוחרים דגם אחר.
מתאים ל
- בדיקת איכות של דגמי Qwen
כתיבת שאלות ובחינת האופן שבו גרסאות 2B מול 9B מתמודדות איתן.
- ניסוי בפרמטרי יצירה
שינוי ערכי טמפרטורה ו־top_p כדי לראות את ההשפעה על רמת היצירתיות של הטקסט.
- בחינת תגובה בעברית
בדיקה מהירה של יכולות השפה של הדגמים השונים ללא צורך בהרצה מקומית.
איפה זה נופל
הבעיה המיידית היא שההדגמה נמצאת במצב של תקלת ריצה ולא מגיבה כלל. מעבר לזה, המודלים נטענים ונפרקים לפי דרישה, כך שמעבר בין דגמים שונים גורר השהיה מורגשת ולא מאפשר השוואה מהירה במקביל של שתי תשובות לאותו קלט.
שאלות
נפוצות
האם צריך לשלם כדי להשתמש בזה?
לא, השימוש בממשק חינמי לחלוטין. הוא נשען על תשתית ZeroGPU שמוקצית להדגמות באתר.
למה האפליקציה לא עונה לי?
המרחב מוגדר כרגע במצב של תקלת זמן ריצה. עד שהמפתח לא יתקן את שגיאת הקוד או התלויות, אי אפשר לשלוח הודעות.
אפשר להריץ את הדבר הזה על המחשב שלי?
כן, הקוד מבוסס על ספריות Transformers ו־Gradio סטנדרטיות. תצטרכו כרטיס מסך עם מספיק זיכרון VRAM כדי להחזיק את הדגמים, במיוחד הגרסאות של 9B ומעלה.
מה קורה לשיחות שאני כותב שם?
הטקסט נשלח לעיבוד בשרת המארח של ההדגמה. מאחר שהרישיון ותנאי הפרטיות של המרחב אינם מוגדרים, עדיף לא להזין מידע רגיש או אישי.
איך משתמשים
בוחרים דגם מהרשימה בצד, כותבים הודעה ולוחצים על Send. המערכת משתמשת בטכנולוגיית ZeroGPU על גבי חומרת a10g-small, מה שאומר שטעינה ראשונית של מודל חדש עשויה לקחת זמן עד שהמשקלים נכנסים לזיכרון. כרגע לא תצליחו להריץ אותה כי הסטטוס שלה מדווח על שגיאת ריצה.
הרישיון
הרישיון של המרחב עצמו לא דווח. המשמעות היא שאין הרשאה ברורה לגבי שימוש מסחרי או שימוש חוזר בקוד ההדגמה, והטקסט שאתם מזינים עובר דרך השרתים הציבוריים של Hugging Face.