rwkv-4-pile-7b

קוד פתוח

BlinkDLapache-2.02022-09-14

rwkv
pytorch
text-generation
causal-lm
en

ארכיטקטורת RNN שמציעה ביצועים של טרנספורמר בלי הסיבוכיות החישובית שלו בזמן ריצה. הוא מייצר טקסט באנגלית ואומן על מאגר The Pile בנפח של 7 מיליארד פרמטרים.

468 GBמשקל הקבצים
17,855הורדות בחודש
157לייקים

מה זה

מדובר במודל שפה מסוג RWKV-4 שמנסה לשלב בין היתרונות של רשתות RNN קלאסיות ליכולות ההבנה של טרנספורמרים. המבנה שלו כולל 32 שכבות וגודל הטמעה של 4096, כשהוא אומן על The Pile לאורך 332 מיליארד טוקנים. במבחנים הוא השיג דיוק של 76.06% ב־PIQA ו־65.51% ב־Hellaswag מנורמל, שמעידים על יכולת סבירה להסקת מסקנות והבנת הקשר בסיסית באנגלית.

הייחוד האמיתי כאן הוא היעילות בזיכרון לאורך ריצה ארוכה בזכות אופי ה־RNN. במקום לתפוס יותר ויותר זיכרון וידאו ככל שההקשר גדל, הוא שומר על צריכת משאבים שטוחה יותר. בריפו קיימות מספר גרסאות משקל, כולל גרסה עם כוונון עדין לחלון הקשר של 4096 טוקנים, ולצידה גרסת ניסוי שמגיעה עד 8192 טוקנים.

מתאים ל

השלמת טקסט באנגלית
יצירת טקסט רציף באנגלית על בסיס נתונים רחב של The Pile, בלי צווארי בקבוק של זיכרון בהקשרים ארוכים.
ניסויי ארכיטקטורה
בדיקת ביצועים של מודלי RNN מודרניים לעומת טרנספורמרים קלאסיים על חומרה מקומית מוגבלת זיכרון.
מענה לפי פרומפט קשיח
הרצת משימות מובנות באמצעות שימוש בפורמט ההוראות המוגדר של גרסאות ה־Instruct הישנות.

איפה זה נופל

המודל מיועד לאנגלית בלבד, ואין לו תמיכה אמיתית בעברית. בנוסף, גרסת הבסיס היא מודל השלמה ולא מודל צ'אט, כך שאי אפשר פשוט לזרוק אליו הוראות ישירות בלי לבנות פרומפט לפי הפורמט המדויק. היוצר אף מזהיר שגרסאות ה־Instruct המוקדמות ישנות ומוגבלות, ומי שמחפש שיחה או ציות להוראות צריך לעבור לפרויקטים מאוחרים יותר שלו.

אותה משפחה

rwkv-4-pile יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

rwkv-4-pile-14b5,847 rwkv-4-pile-3b5,410

שאלות
נפוצות

האם צריך להוריד את כל 468 הג'יגה של המאגר?

ממש לא. המאגר מכיל עשרות גרסאות שונות של משקלים, בדיקות וניסויים בהקשרים שונים. אתם צריכים לבחור קובץ pth יחיד שמתאים למשימה שלכם, למשל הגרסה המכווננת להקשר של 4096 טוקנים, ולהוריד רק אותו.

האם המודל מבין וכותב בעברית?

המודל אומן על The Pile באנגלית בלבד. הוא לא מיועד לעברית ולא ייתן תוצאות שימושיות בשפה הזו. עבור ריבוי שפות היוצר מפנה במפורש לגרסאות חדשות יותר בסדרת World.

איך מריצים

כדי להריץ את המודל צריך להשתמש בספריית ChatRWKV או בקוד ממאגר RWKV-LM. כרטיס המודל שוקל 468 ג'יגה בגלל עשרות קבצי משקלים שונים של גרסאות שונות, אבל בפועל מורידים רק משקל בודד של 7B, שדורש סביב 14 עד 16 ג'יגה זיכרון וידאו כדי לרוץ בלי כימות.

אם אתם צריכים הקשר קצר מ־3000 טוקנים, היוצר עצמו ממליץ על גרסת ה־ctx4096 ומציין שהיא עדיפה על גרסת ה־8192. אם אין לכם כרטיס מסך מתאים עם לפחות 16GB VRAM פנוי, או אם אתם לא רוצים להסתבך עם התקנות ספציפיות לארכיטקטורה שאינה טרנספורמר סטנדרטי, עדיף להשתמש במודלים מבוססי API.

pip install -U huggingface_hub
hf download BlinkDL/rwkv-4-pile-7b

הקבצים

36 קבצים במאגר, 468 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0. זה רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקוד והפצה חופשית, כולל שילוב במוצרים סגורים. התנאי העיקרי הוא שמירה על הצהרת זכויות היוצרים והרישיון המקורי, והוספת ציון על שינויים שנעשו בקבצים.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗