RWKV-Instruct
רץ בדפדפןHazzzardousgpl-3.02023-02-07
הממשק מציע התנסות ישירה במודל שפה מסוג RWKV במגוון סגנונות הנחיה וצ'אט. הוא מיועד למי שרוצה לבדוק יכולות מענה וטקסט חופשי בלי התקנות מורכבות.
- —הורדות בחודש
- 78לייקים
מה זה
מזינים טקסט באחת משתי לשוניות, לשונית יצירה כללית או לשונית שיחה. במסך היצירה מקלידים פרומפט, בוחרים מצב עבודה כמו Freeform, Q/A, ELDR, Expert, EFR או BFR, ומגדירים פרמטרים של טמפרטורה, top_p, כמות טוקנים ומילת עצירה. הפלט שמתקבל הוא טקסט רציף או תשובה מובנית בהתאם למצב שנבחר.
מאחורי הקלעים הקוד טוען את RWKV באמצעות ספריית rwkvstic, תוך שימוש במודלים BlinkDL/rwkv-4-pile-1b5 וגרסה מכומתת של Hazzzardous/RWKV-8Bit. מדובר במודל שמשלב מבנה של RNN עם ביצועים שמזכירים טרנספורמר. בלשונית הצ'אט שולחים הודעות ומקבלים תגובה ישירה בחלון שיחה, כאשר רענון הדף או שינוי השם מאפסים את הזיכרון שלו לחלוטין.
מתאים ל
- הפקת תשובות קצרות
מזינים שאלה במצב Q/A ומקבלים מענה ישיר מהמודל בהתאם לפרמטרים שבחרתם.
- התנסות בסגנונות הנחיה
בודקים כיצד משפיעים מצבים שונים כמו ELDR או Expert על אופי הטקסט הנוצר.
- שיחה פשוטה מבוססת תורות
מנהלים דו-שיח קצר בלשונית הצ'אט כדי לבחון את תגובות המודל בזמן אמת.
איפה זה נופל
הבעיה המיידית היא שהאפליקציה לא עובדת בכלל כרגע בגלל תקלת BUILD_ERROR. מעבר לזה, המודל הבסיסי שרץ כאן הוא בנפח של 1.5 מיליארד פרמטרים, גודל צנוע מאוד שלא מסוגל להתחרות במודלים מודרניים. תקרת הטוקנים מוגבלת ל־512 ביצירה ו־256 בצ'אט, כך שאי אפשר להפיק כאן טקסטים ארוכים או לנהל שיחות מעמיקות.
שאלות
נפוצות
האם הממשק פועל כרגע בדפדפן?
לא, האפליקציה נמצאת במצב BUILD_ERROR ולכן אי אפשר להריץ אותה כרגע ישירות בעמוד. כדי להשתמש בה יש צורך לתקן את שגיאות הטעינה בקוד או להריץ אותה בסביבה נפרדת. עד שהיוצר לא יעדכן את הקוד, הממשק יישאר מושבת.
האם השימוש באפליקציה עולה כסף?
הדף פתוח לגישה ציבורית בהאגינג פייס ואינו דורש תשלום. אין צורך במנוי בתשלום כדי לגשת אליו, אך הוא תלוי בזמינות השרת של המתחם. כרגע בגלל התקלה הטכנית אין אפשרות לנצל את המשאב הזה בפועל.
האם אפשר להריץ את הקוד באופן מקומי?
כן, הקוד מפורסם תחת רישיון gpl-3.0 ומשתמש בספריות פתוחות כמו Gradio ו־rwkvstic. אתם יכולים להוריד את הקבצים, להתקין את התלויות ולהריץ אותם על המחשב שלכם. תצטרכו חומרה תואמת עם זיכרון מספק כדי לטעון את המשקלים של המודל.
במה הממשק הזה שונה מהרצת המודל המקורי?
הכלי הזה עוטף את המודל בממשק גרפי נוח עם הגדרות מובנות מראש של מצבי הנחיה כמו ELDR ו־Expert. במקום לכתוב קוד פייתון כדי לתחום עצירה או top_p, אתם מקבלים סליידרים מוכנים. עם זאת, הוא משתמש במשקלים קבועים של 1.5B בכימות 8 ביט ולא במודלים הגדולים יותר של הפרויקט.
איך משתמשים
לוחצים על הלשונית הרצויה, כותבים את הפרומפט, מכוונים את הסליידרים ולוחצים על כפתור ההרצה כדי לקבל פלט. האפליקציה מוגדרת לרוץ על חומרת t4-medium, אבל נכון לעכשיו היא נמצאת במצב של שגיאת בנייה ולא תגיב בדפדפן. אם המתחם היה תקין, כרטיס T4 היה מספק מענה בתוך שניות בודדות לטקסטים קצרים.
הרישיון
הפרויקט מפורסם תחת רישיון gpl-3.0, שמחייב קוד פתוח תחת אותו רישיון לכל נגזרת שלו. אין תיעוד על שמירת השיחות שלכם בשרת, אך המידע שאתם מקלידים מועבר ישירות לממשק ברשת.