rwkv-4-raven

קוד פתוח

BlinkDLapache-2.02023-04-01

rwkv
pytorch
text-generation
causal-lm
en

ארכיטקטורת RNN שמציעה אלטרנטיבה לטרנספורמרים קלאסיים ומנסה לחסוך במשאבים בזמן ריצה. סדרת Raven מביאה כוונון עדין למשימות שיחה וקוד בכמה גדלים שונים.

67.8 GBמשקל הקבצים
13,457הורדות בחודש
497לייקים

מה זה

מדובר במודל שפה שמבוסס על ארכיטקטורת רשת עצבית רקורסיבית מלאה, בניגוד למודלי טרנספורמר רגילים שמחזיקים מנגנוני קשב כבדים. הבסיס מגיע מאימון על The Pile בגדלים של 1.5, 3, 7 ועד 14 מיליארד פרמטרים, כשהגרסה הזו עברה כוונון מיוחד על מערכי נתונים כמו Alpaca, CodeAlpaca, Guanaco, GPT4All ושיחות מתוך ShareGPT.

המטרה כאן היא לתת יכולות צ'אט, כתיבת קוד והבנת פקודות בלי לגרור את צריכת הזיכרון הטיפוסית של טרנספורמר שמייצר טוקנים ברצפים ארוכים. המפתח מציין שגם גרסת ה־1.5B מפתיעה ביכולות שלה לגודל כזה, מה שהופך את המשפחה הזו לניסוי מעניין של ארכיטקטורה שונה ממה שרוב השוק עושה.

מתאים ל

הסבת קוד ופתרון באגים
אימון על CodeAlpaca מספק מענה טוב לכתיבה ובדיקה של קטעי תוכנה קצרים באנגלית.
עוזר שיחה במשאבים צנועים
גרסאות 1.5B ו־3B רצות בקלות על מעבדים פשוטים בעזרת rwkv.cpp בלי כרטיס גרפי יקר.
ניסויי ארכיטקטורה באקדמיה
בדיקת ביצועים של מודל מבוסס RNN מול טרנספורמרים קיימים במשימות יצירת טקסט שונות.

איפה זה נופל

המודל אומן בעיקר על אנגלית, שמהווה 96 עד 99 אחוז מהנתונים בגרסאות אלה, עם אחוז בודד לשפות אחרות. אל תבנו עליו לעברית. בנוסף, הוא רגיש מאוד למבנה הפרומפט. הוא דורש פורמט קשיח של שיחה בין Bob ל־Alice, ואם תשאירו רווח אחרי התגית האחרונה או תכניסו ירידת שורה כפולה באמצע הטקסט, התוצאות ייפגעו. יוצר המודל בעצמו מפנה לגרסת World החדשה יותר למי שצריך תמיכה רחבה בשפות.

שאלות
נפוצות

האם המודל מבין ומייצר טקסט בעברית?

לא באופן שימושי. נתוני האימון מורכבים כמעט לחלוטין מאנגלית, והחלק הרב לשוני תופס בין אחוז לשניים בלבד. אם המטרה היא עברית, המודל הזה לא מתאים וכדאי לחפש חלופות שאומנו על שפות רבות.

איך צריך לנסח את הקלט כדי לקבל תשובות מדויקות?

הכרטיס מחייב מבנה מוגדר שבו המשתמש הוא Bob והבוט הוא Alice. חייבים להפריד בין הדוברים עם ירידת שורה כפולה, אסור לשים רווח אחרי Alice: בסוף הקלט, ויש להימנע מירידות שורה כפולות בתוך גוף השאלה עצמה.

איך מריצים

להרצה מקומית על כרטיסי מסך של Nvidia משתמשים במאגר ChatRWKV עם האצת CUDA. אם רוצים להריץ על מעבד רגיל, יש גרסאות מכומתות בפורמט Q8_0 שנתמכות רק דרך הפרויקט rwkv.cpp. משקל הקבצים הכולל במאגר מגיע ל־67.8 גיגה בייט כי הוא מכיל כמה גדלים של המודל.

אם אין לכם כרטיס מסך מתאים או כוח עיבוד של שרת כדי לטעון משקלים גדולים, עדיף להשתמש בדמו הקיים ב־Gradio או ב־API חיצוני, במקום להסתבך עם קבצים כבדים והתקנות של ספריות ייעודיות.

pip install -U huggingface_hub
hf download BlinkDL/rwkv-4-raven

הקבצים

8 קבצים במאגר, 67.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקוד והמשקלים, והפצה מחדש בתוך מוצרים. התנאי העיקרי הוא שמירת הודעת זכויות היוצרים והרישיון המקורי, בלי להטיל אחריות על המפתחים המקוריים.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗