RWKV-Gradio-2

מה זה

אתם מזינים טקסט גולמי בתיבת הפרומפט, מכווננים פרמטרים ומקבלים השלמת טקסט ישירה בחלון הפלט. ברירת המחדל מדגימה תבנית חשיבה עם תגיות ייעודיות, ויש גם דוגמה מובנית של קריאה לפונקציה שמחזירה מבנה JSON לתיאום פגישה ביומן לפי הגדרת כלים.

מאחורי הקלעים רץ RWKV7 מסדרת G, ארכיטקטורת RNN טהורה של BlinkDL שמתפקדת כמודל שפה ללא שכבות Attention רגילות. הקוד טוען משקלים ממאגר האימונים האחרונים של הפרויקט, תוך שימוש במודול מואץ בשם rwkv7_fast_v3a לצורך הסקת מסקנות מהירה יותר בחומרה.

מתאים ל

• בדיקת חילוץ JSON

  מזינים הגדרת כלים ובודקים אם המודל מחזיר מבנה JSON תקין לקריאת פונקציה.

• ניסוי בהסקה לוגית

  מריצים שאלות מתמטיקה עם ערך top_p נמוך של 0.3 לפי הנחיות המפתח.

• השוואת ביצועי RNN

  בוחנים יצירת קוד פייתון בארכיטקטורה ללא מנגנון Attention מול מודלים רגילים.

איפה זה נופל

זהו מודל בסיס להשלמת טקסט גולמי ולא צ'אט מלוטש. אין כאן זיכרון שיחה מנוהל, והוא מוגבל באורך ההקשר שהוגדר בממשק. אם לא תשתמשו בפורמט הפנייה הנכון, התוצאות עלולות להתפזר ולא תראו את יכולות ההיגיון שקיימות בגרסאות מכווננות.

איך משתמשים

בוחרים פרומפט או דוגמה מהרשימה, מגדירים את אורך הפלט המקסימלי, גודל ה־Batch ופרמטרי הדגימה, ולוחצים על כפתור Submit. אפשר לעצור את היצירה בכל רגע עם כפתור Stop. הכל רץ על מאיץ t4-medium בודד, כך שזמן התגובה תלוי בעומס ובמספר התוצאות המקבילות שביקשתם.

הרישיון

הקוד מופץ תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי והפצה כולל לצרכים מסחריים. הטקסט שאתם מזינים נשלח לתשתית שמריצה את הממשק בשרתי Hugging Face, ואין במידע פרטים על שמירה או איסוף של הפלטים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗