RWKV-Gradio-1

מה זה

האפליקציה מקבלת טקסט חופשי ומחזירה המשך טקסטואלי ישיר מהמודל. מתחת למכסה המנוע רץ RWKV7 מסדרת G, מודל שפה מבוסס RNN טהור ללא שכבות Attention מסורתיות, שטוען משקלים ממאגרים כמו BlinkDL/temp-latest-training-models ומשתמש בקוד rwkv7_fast_v3a. בנוסף המערכת כוללת תמיכה ברכיב CLIP של OpenAI ברקע.

המשתמש יכול לשלוט בהגדרות ריצה כמו כמות טוקנים מרבית, גודל אצווה שמגיע עד שמונה במקביל, טמפרטורה, ופרמטרים של ענישה על חזרתיות. הממשק מציג דוגמאות מובנות שממחישות בעיקר קריאות לפונקציות בפורמט JSON עבור תיאום פגישות ביומן, לצד פרומפט ברירת מחדל שמכוון לכתיבת קוד סימולציה בפייתון עם תגיות חשיבה.

מתאים ל

• בדיקת קריאות לפונקציות

  ניסוי ביכולת המודל לייצר קריאות פונקציה תקינות במבנה JSON לפי דוגמאות מוכנות מראש.

• הפקת קוד פייתון

  יצירת סקריפטים ומקטעי קוד טכניים באמצעות הפרומפט המובנה ותגיות החשיבה.

• הערכת ארכיטקטורת RWKV7

  בחינה מעשית של מהירות ואיכות הפלט במודל מבוסס RNN ללא תשומת לב.

איפה זה נופל

זהו ממשק למודל בסיס גולמי שמייצר השלמת טקסט ולא צ'אט מעובד שעבר התאמה לשיחה מלוטשת. ההדגמה מוגבלת באורך ההקשר המרבי שהוגדר בקוד, כך שאי אפשר להזין מסמכים ענקיים. אם אתם בונים על דיוק מתמטי, המפתח ממליץ בעצמו להוריד את ערך top_p ל־0.3, וחשוב לזכור שהחומרה הבסיסית עלולה להאט אם מריצים אצוות גדולות.

איך משתמשים

בוחרים דוגמה מרשימת ההוראות בתחתית העמוד או כותבים פרומפט בתיבת הטקסט, מכוונים את הסליידרים של הטמפרטורה וכמות הטוקנים ולוחצים על Submit. אין צורך בהרשמה או התחברות כדי להתחיל לעבוד. ההרצה מתבצעת על גבי מעבד גרפי מדגם T4-Small, כך שזמני ההמתנה לפלט תלויים בעומס על השרת ובגודל האצווה שתבחרו. יש גם כפתור Stop שמאפשר לקטוע את היצירה בכל רגע.

הרישיון

הפרויקט מפורסם ברישיון קוד פתוח מסוג Apache-2.0, מה שמאפשר שימוש חופשי בקוד ושינוי שלו. לגבי המידע שאתם מזינים או הטקסטים שנפלטים, הם מועברים דרך התשתית הציבורית של השרת ואין התחייבות לפרטיות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗