rwkv-4-pile-3b

קוד פתוח

BlinkDLapache-2.02022-09-14

rwkv
pytorch
text-generation
causal-lm
en

ארכיטקטורת RNN עם ביצועים שמזכירים טרנספורמר, שמיועדת למי שרוצה להריץ מודל טקסט מקומי בגודל בינוני. היא מתאימה אם אתם מחפשים יעילות זיכרון של רשת נשנית ביצירת טקסט באנגלית.

145 GBמשקל הקבצים
5,410הורדות בחודש
41לייקים

מה זה

מדובר במודל שפה עם 32 שכבות וגודל הטמעה של 2560, שאומן על מאגר The Pile באנגלית. המבנה שלו מבוסס על ארכיטקטורת RWKV ולא על טרנספורמר סטנדרטי, מה שמאפשר לו לשמור על זיכרון קבוע בזמן ייצור רצפים ארוכים. המפתח מציע גרסאות בסיס וגרסאות שעברו התאמה, כשהגרסה המומלצת מגיעה להקשר של 4096 טוקנים.

במדדי ההערכה הוא מציג דיוק של 74.16% ב־PIQA ו־59.89% ב־Hellaswag, לצד פרפלקסיטי של 5.25 ב־LAMBADA. המספרים האלה מראים יכולת סבירה בהבנת הקשר והיגיון בסיסי ביחס למודל 3B משנת 2022, אבל הם רחוקים מלהחליף מודלים מודרניים או גדולים יותר. יש בריפו גם גרסאות ניסיוניות למעקב אחרי הוראות וגרסאות שאומנו על טקסטים בסינית.

מתאים ל

מחקר ארכיטקטורות RNN
ניתוח התנהגות מודל שפה לא טרנספורמרי עם הקשר של 4096 טוקנים.
יצירת טקסט מקומית באנגלית
הרצה מקומית על חומרה חלשה יחסית ללא תלות בספקי ענן.
בדיקת פרומפטים מובנים
הרצת משימות מוגדרות בעזרת תבניות ההוראות הייעודיות שנבדקו בכרטיס.

איפה זה נופל

המודל אומן במקור על The Pile באנגלית, כך שאין כאן תמיכה בעברית או הבנה של השפה. בנוסף, גרסאות ההוראות כאן הן ניסיוניות בלבד ומחייבות שימוש בפורמט פרומפט קשיח ומדויק של שאלה ותשובה לפי הדאטהסטים המקוריים, אחרת התוצאות מתפרקות. הדף מזהיר שגרסאות הסינית וההוראות מיועדות לבדיקה בלבד, כך שלא מדובר במוצר אפוי לצ'אט כללי.

אותה משפחה

rwkv-4-pile יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

rwkv-4-pile-7b17,855 rwkv-4-pile-14b5,847

שאלות
נפוצות

האם המודל מבין ומייצר עברית?

לא. המודל אומן על The Pile באנגלית וקיימות לו רק גרסאות ניסיוניות בסינית. הוא לא מיועד לעבודה בעברית ולא ייתן תוצאות שמישות בשפה זו.

למה הדף מציג משקל של 145 ג'יגה בייט עבור מודל 3B?

המאגר מרכז מספר גרסאות שונות של משקלי המודל, כולל גרסאות בסיס, גרסאות הוראות וגרסאות לסינית. אין צורך להוריד את כל 28 הקבצים, אלא רק את קובץ המשקלים הספציפי שבו רוצים להשתמש.

איך מריצים

הריצה מתבצעת בעזרת הספרייה הייעודית של הפרויקט או דרך ChatRWKV בגיטהאב. המאגר מכיל 28 קבצים ששוקלים יחד 145 ג'יגה בייט, מפני שהוא כולל כמה וכמה משקלים ואיטרציות, אך בפועל אתם מורידים רק את קובץ ה־pth הספציפי שאתם צריכים, למשל הקובץ עם הקשר 4096. בשביל מודל 3B בודד נדרש כרטיס מסך צנוע או אפילו מעבד, בזכות אופי החישוב של הארכיטקטורה.

המפתח מדגיש שוב ושוב לא לערבב בין גרסאות 4 לגרסאות 4a ו־4b כי הן אינן תואמות. אם אתם צריכים רק לקבל תשובות ולא לחקור את המבנה הייחודי של RWKV, פנייה ל־API מסחרי תחסוך את כאב הראש של הקינפוג והספריות המותאמות.

pip install -U huggingface_hub
hf download BlinkDL/rwkv-4-pile-3b

הקבצים

28 קבצים במאגר, 145 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון Apache 2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקוד והפצה של המשקלים בתוך מוצרים פרטיים. הדרישה העיקרית היא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗