rwkv-4-world
קוד פתוחBlinkDLapache-2.02023-05-07
ארכיטקטורת RNN עם אימון על מעל מאה שפות וקוד. אם אתם מחפשים ביצועים של מודל שפה בלי לשלם בזיכרון של טרנספורמר, זו אפשרות מעניינת.
- 75.7 GBמשקל הקבצים
- 9,495הורדות בחודש
- 213לייקים
מה זה
מדובר בגרסת World של RWKV-4, שמשלבת מבנה של רשת קשר עם יצירת טקסט. המאגר שבו השתמשו מכיל 70 אחוז אנגלית, 15 אחוז שפות שונות ו־15 אחוז קוד, כשהאיסוף הורכב מפיסות של Pile, RedPajama, ויקיפדיה, OSCAR ונתונים מפרויקטים של ChatGPT. החבילה כולה שוקלת 75.7 גיגה בייט ומחולקת בין 14 קבצים שונים.
המבנה של המודל נשען על ספריית rwkv וכולל טוקנייזר ייעודי חדש שממיר ירידות שורה כפולות לטוקן יחיד. זה לא מודל טרנספורמר סטנדרטי, אלא ניסיון לתת מענה לעיבוד רציף ביעילות גבוהה בלי צוואר הבקבוק החישובי הרגיל.
מתאים ל
- בניית צ'אט בפורמט מובנה
מתאים לשיחה שבה שומרים על סכמת פנייה מדויקת של User ו־Assistant.
- משימות שאלות ותשובות
המודל אומן ספציפית לענות לתבניות של Question ו־Answer עם החלפת שורות רווח.
- יצירת קוד במספר שפות
15 אחוז מנתוני האימון שלו הוקדשו לקוד לצד אנגלית ושפות נוספות.
איפה זה נופל
המודל רגיש מאוד לפרומפטים שלו. היוצר מדגיש בפירוש שאסור לפנות אליו עם שמות כמו Bob ו־Alice או בפורמט Q/A, אלא אך ורק בפורמטים מוגדרים כמו Question/Answer או User/Assistant. בנוסף, יש באג ידוע בחישובי fp16 בשכבה הראשונה בדגמים הקטנים יותר, שדורש עבודה עם fp32 או bf16. עברית גם לא מצוינת במפורש ברשימת השפות המרכזיות, שכוללת בעיקר אנגלית, סינית, רוסית ושפות מערב אירופיות, כך שצריך לבדוק היטב איך הוא מתמודד איתה לפני שבונים עליו.
שאלות
נפוצות
איך צריך לנסח את הפרומפט לצ'אט?
יש להשתמש אך ורק בתבניות כמו User ו־Assistant או Human ו־Bot. המפתח מזהיר לא להשתמש בפורמטים של Bob/Alice כי הם לא יעבדו טוב עם המשקלים האלה.
איזה טוקנייזר צריך להגדיר בקוד?
חייבים להשתמש ב־rwkv_vocab_v20230424 מתוך חבילת rwkv, ולא בקובץ 20B_tokenizer ששימש גרסאות קודמות כמו Raven. הטוקנייזר הזה מתייחס לירידת שורה כפולה כטוקן בודד.
איך מריצים
להרצה מקומית תצטרכו את חבילת הפייתון rwkv בגרסה 0.8.0 לפחות, או ממשק גרפי כמו RWKV-Runner. בריפו יש דוגמאות קוד לסקריפטים של בדיקות ודמו לשימוש ב־API.
אם אתם מריצים גרסאות קטנות כמו 0.1B, 0.4B או 1.5B, חייבים להריץ את השכבה הראשונה ב־fp32 או לעבוד עם bf16 על כרטיסי מסך מסדרות 30xx ו־40xx כדי למנוע גלישת מספרים ב־fp16. סך כל הקבצים שוקל כ־75.7 גיגה, כך שמוכרחים נפח אחסון פנוי וכרטיס מסך תואם.
pip install -U huggingface_hub hf download BlinkDL/rwkv-4-world
הקבצים
14 קבצים במאגר, 75.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
- RWKV-4-World-7B-v1-20230626-ctx4096.pth15.0 GB
- RWKV-4-World-CHNtuned-7B-v1-20230709-ctx4096.pth15.0 GB
- RWKV-4-World-JPNtuned-7B-v1-20230718-ctx4096.pth15.0 GB
- RWKV-4-World-ARAtuned-7B-v1-20230803-ctx4096.pth15.0 GB
- RWKV-4-World-3B-v1-20230619-ctx4096.pth6.1 GB
- RWKV-4-World-CHNtuned-3B-v1-20230625-ctx4096.pth6.1 GB
- RWKV-4-World-1.5B-v1-fixed-20230612-ctx4096.pth3.2 GB
- RWKV-4-World-CHNtuned-1.5B-v1-20230620-ctx4096.pth3.2 GB
- RWKV-4-World-0.4B-v1-20230529-ctx4096.pth923.4 MB
- RWKV-4-World-CHNtuned-0.4B-v1-20230618-ctx4096.pth923.4 MB
- RWKV-4-World-0.1B-v1-20230520-ctx4096.pth385.6 MB
- RWKV-4-World-CHNtuned-0.1B-v1-20230617-ctx4096.pth385.6 MB
- README.md1.8 KB
- .gitattributes1.5 KB
הרישיון
המודל משוחרר ברישיון apache-2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו הלאה, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי בקבצים שלכם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים