GPT
Q

qwen-7b-chat

רץ בדפדפן

mikeeemit2023-08-04

  • docker

ממשק שיחה שמיועד לבדיקת טקסט מול גרסה לא מצונזרת של מודל שפה. מתאים למי שמחפש התנסות ישירה בלי מעצורים מובנים של סינון תוכן.

  • הורדות בחודש
  • 360לייקים

מה זה

אתם מקלידים הודעה בתיבת הטקסט ומקבלים תשובה שנוצרת בזמן אמת בתוך חלון הצ'אט. הממשק שומר היסטוריה קצרה של עד חמש שיחות אחרונות, ויש בו כפתורי שליחה, עצירה ואיפוס.

למרות ששם הכתובת מפנה אל מודל Qwen, הקוד בפועל טוען את HauhauCS/Gemma-4-E4B-Uncensored-HauhauCS-Aggressive באמצעות ספריית transformers. בהגדרות המתקדמות אפשר לקבוע פרומפט מערכת ולשלוט בפרמטרים של יצירת הטקסט כמו temperature, top_p, top_k, repetition_penalty ומגבלת אורך הטוקנים. יש גם רשימת דוגמאות מוכנות, אם כי לפי ההערה בממשק רובן נכתבו במקור עבור מודל אחר לגמרי.

מתאים ל

  • בדיקת תגובות ללא סינון

    שליחת פרומפטים ישירים למודל כדי לבחון איך הוא מגיב בלי מנגנוני סינון תוכן רגילים.

  • ניסוי בפרמטרי יצירה

    כוונון פרמטרים כמו טמפרטורה, top_p וענישת חזרתיות ובדיקת ההשפעה שלהם על התוצאה.

  • שימוש ב־API לשיחה

    שליחת בקשות דרך הממשק הייעודי החבוי המוגדר בקוד לצורך תרגום או שיחה מרוחקת.

איפה זה נופל

הפער בין השם בכתובת לבין המודל שנטען בפועל יוצר בלבול לגבי מה שבאמת רץ שם. בנוסף, הדוגמאות המצורפות אינן מותאמות למודל הנוכחי. המגבלה המשמעותית ביותר היא שהקוד דורש GPU כדי לפעול, כך שעל תשתית ה־CPU הבסיסית הנוכחית היא פשוט תקרוס עם שגיאה.

שאלות
נפוצות

האם השימוש באפליקציה כרגע עולה כסף?

הגישה לממשק עצמו פתוחה ברשת ואינה דורשת תשלום. עם זאת, היא נמצאת במצב מושהה ולא ניתן להריץ אותה בלי להפעיל אותה מחדש על חומרה מתאימה.

כמה זמן לוקח לקבל תשובה לטקסט?

במצבה הנוכחי היא אינה מגיבה כלל כי היא מושהית וחסרת כרטיס מסך. כשהיא רצה על חומרה מתאימה, המהירות תלויה ישירות בעוצמת המאיץ הגרפי ובמגבלת הטוקנים שהוגדרה.

האם אפשר להריץ את האפליקציה באופן מקומי?

כן, הקוד בנוי מעל קונטיינר של docker ומשתמש בספריות סטנדרטיות כמו transformers ו־gradio. תצטרכו להוריד את הקוד, להתקין את התלויות ולוודא שיש לכם כרטיס מסך עם תמיכה ב־CUDA כדי למנוע את שגיאת ההרצה.

במה היא שונה משימוש ישיר במודל?

היא עוטפת את המודל בממשק גרפי פשוט עם תיבת צ'אט ושליטה ידנית בפרמטרי יצירה. אין כאן שינוי של משקולות המודל, אלא רק מעטפת ויזואלית נוחה שמגבילה את ההיסטוריה לחמישה סיבובים.

איך משתמשים

לוחצים על Submit כדי לשלוח את ההודעה, ואפשר לעצור את היצירה בכל רגע עם Stop. בפועל האפליקציה נמצאת כרגע במצב מושהה על מעבד בסיסי, וקוד ההרצה זורק שגיאה מפורשת אם אין כרטיס מסך זמין. כל עוד היא מושהית ולא מוקצה לה מאיץ גרפי, לא ניתן להריץ בה פרומפטים דרך הדפדפן.

הרישיון

האפליקציה מפורסמת תחת רישיון MIT, שמאפשר שימוש חופשי, שינוי והפצה של הקוד. לגבי התוכן שאתם מזינים או הטקסט שנוצר, הרישיון אינו מפרט תנאי בעלות או פרטיות ספציפיים מעבר לתנאי השימוש הרגילים של השרת המארח.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא ב־Hugging Face ↗