StableVicuna

מה זה

מזינים טקסט לתיבת השיחה ומקבלים תגובה כתובה בחלון הצ'אט. הממשק שומר היסטוריה מקומית של חילופי הדברים, כך שהתשובות מתחשבות בהקשר הקודם שנכתב באותה שיחה.

מאחורי הקלעים רץ מודל שפה בשם stable-vicuna-13b בגרסת fp16, או גרסת הדלתא שלו, שנטען באמצעות ספריית transformers של פייתון. הקוד מזרים את הפלט ישירות אל תיבת השיחה באמצעות רכיב סטרימינג בזמן שהמודל מייצר את המילים, בלי שתצטרכו לחכות לפסקה שלמה שתיטען בבת אחת.

אין בממשק דוגמאות מוכנות מראש לשאלות או פרומפטים. המסך מציג חלון שיחה ריק לגמרי עם כפתורי שליחה וניקוי, והמשתמש צריך להחליט בעצמו מה הוא רוצה לשאול.

מתאים ל

• ניסוי בשיחה חופשית

  בדיקת יכולת המענה של מודל שפה פתוח בגודל 13 מיליארד פרמטרים מול שאלות כלליות.

• עצירת הפקה בזמן אמת

  שימוש בכפתור העצירה כדי לקטוע תשובות ארוכות או לא רלוונטיות בלי לחכות לסיום.

• בדיקת זיכרון שיחה

  הרצת רצף שאלות המשך כדי לבדוק איך המודל מגיב להקשר שנצבר בחלון הצ'אט.

איפה זה נופל

ההדגמה מוגבלת לטקסט בלבד ואין בה שום אפשרות לצרף קבצים, תמונות או מסמכים. המודל מבוסס על משקלי vicuna 13b משנת 2023, ולכן הוא לא מתאים למשימות שדורשות עובדות עדכניות או דיוק מורכב. החיסרון המרכזי כרגע הוא שההדגמה כלל אינה פעילה בדפדפן אלא מושהית, כך שאי אפשר לבדוק את התנהגות המודל או את איכות הפלט בלי לשכפל את הקוד ולשלם על משאבי חומרה מתאימים.

איך משתמשים

כותבים הודעה בתיבת הטקסט ולוחצים על Send כדי להתחיל את ההפקה, או על Stop אם רוצים לעצור אותה באמצע. כפתור Clear History מוחק את השיחה ומתחיל מחדש. הממשק כולל קישור לשכפול שלו לחשבון אישי כדי לעקוף תורים ציבוריים. כרגע ההדגמה נמצאת במצב מושהה, כך שאי אפשר להריץ אותה ישירות בלי להפעיל או לשכפל אותה מחדש. כשהיא רצה, המפרט המוגדר הוא מאיץ a100-large שאמור לייצר קצב תגובה מהיר למדי.

הרישיון

הרישיון של המרחב הוא cc-by-nc-4.0, מה שאומר שהשימוש בו ובתוצרים שלו מותר למטרות מחקר והתנסות אישית בלבד, ללא שום שימוש מסחרי. החומרים שמוזנים לממשק נשלחים לשרת שבו רץ הקוד של CarperAI.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗