rwkv-7-world
קוד פתוחBlinkDLapache-2.02024-12-10
ארכיטקטורת RNN מודרנית שמציעה חלופה לטרנספורמרים הרגילים, עם דגש על יעילות זיכרון. היא מתאימה למי שרוצה להריץ מודל מקומי קל בלי צווארי הבקבוק של חישובי תשומת לב כבדים.
- 9.5 GBמשקל הקבצים
- 755הורדות בחודש
- 108לייקים
מה זה
מדובר בגרסה השביעית של RWKV, שמנסה לחבר בין המהירות והיעילות של RNN לבין היכולות של מודלי שפה מבוססי טרנספורמר. המודל אומן על מעל מאה שפות, כאשר שמונים אחוז מהנתונים הם באנגלית, עשרה אחוז בקוד ועשרה אחוז בשפות נוספות כמו סינית, רוסית, גרמנית וספרדית. אין כאן אזכור לאימון ממוקד בעברית.
מבחינת ביצועים, כרטיס המודל מציג זינוק חד במבחן MMLU לעומת הדור השישי. גרסת 2.9 מיליארד פרמטרים הגיעה לציון של 54.56% לעומת 32.38% בדור הקודם, וגרסת 1.5 מיליארד עלתה מ־26.34% ל־44.84%. המשמעות היא שההבנה הכללית ומענה על שאלות ידע השתפרו מאוד ביחס לנפח, אבל צריך לזכור שזהו מודל בסיס שדורש פרומפטים מדויקים מאוד כדי לקבל תשובה סבירה.
מתאים ל
- שרתים עם חומרה מוגבלת
ארכיטקטורת RNN מאפשרת עיבוד יעיל של טקסטים ארוכים בלי צריכת זיכרון מנופחת שדורשים מודלי טרנספורמר רגילים.
- סיוע בכתיבת קוד
עשרה אחוז מנתוני האימון כוללים קוד, מה שמאפשר לו לייצר השלמות תחביר פשוטות במערכות פיתוח מקומיות.
- מחקר ובדיקת חלופות קוד פתוח
מתאים למי שבוחן ארכיטקטורות שאינן מבוססות תשומת לב מלאה ורוצה לבדוק ביצועי דור שביעי של הרשת.
איפה זה נופל
הבעיה הגדולה ביותר כאן היא שהיוצר בעצמו קורא למודל מיושן ומפציר במשתמשים לעבור לגרסה אחרת. בנוסף, המודל רגיש בצורה קיצונית לעימוד: רווח בודד אחרי הנקודתיים בסוף הפרומפט ישבש את הטוקנייזר ויגרום לו לפלוט ג'יבריש או תשובות בשפה שאינה אנגלית. אם אתם צריכים עברית טובה, קחו בחשבון שהיא לא נכללת ברשימת השפות המרכזיות ורק אחוזים בודדים מהאימון הוקדשו לכל השפות הזרות יחד.
שאלות
נפוצות
למה כרטיס המודל אומר לא להשתמש בו?
היוצר פרסם עדכון בשם rwkv7-g1 שמחליף את המאגר הזה. הגרסה החדשה שומרת על תאימות מלאה ומציגה תוצאות טובות יותר בכל המדדים, כך שהעמוד הנוכחי נשאר בעיקר כארכיון.
איך צריך לבנות את הפרומפט כדי לא לשבור את הפלט?
יש לעבוד במבנה המדויק שהוגדר עם תגיות כמו User ו־Assistant או Instruction ו־Response, ולהחליף ירידות שורה כפולות בירידה בודדת. קריטי לא להשאיר רווח אחרי הנקודתיים האחרונות, אחרת הטוקנייזר ייכשל ויוציא טקסט משובש.
איך מריצים
כדי להריץ אותו צריך להתקין את חבילת הפייתון rwkv בגרסה 0.8.28 ומעלה. קובצי המודל שוקלים 9.5 ג'יגה בייט ומחולקים לשישה חלקים, כך שכרטיס מסך מודרני פשוט עם 12 או 16 ג'יגה זיכרון יחזיק אותו בקלות. למי שאין כרטיס מתאים או שלא מעוניין להתעסק בתחזוקת תשתית מקומית של מודל RNN שונה מהסטנדרט, פנייה ל־API חיצוני תחסוך הרבה התעסקות טכנית.
המפתח עצמו מזהיר בעמוד ומבקש שלוש פעמים לעבור לגרסה חדשה יותר בשם rwkv7-g1, שלדבריו תואמת לחלוטין וטובה יותר בכל פרמטר. אם אתם מתחילים פרויקט חדש עכשיו, אין שום סיבה אמיתית לבחור במאגר הישן הזה במקום להוריד ישירות את הגרסה המעודכנת.
pip install -U huggingface_hub hf download BlinkDL/rwkv-7-world
הקבצים
6 קבצים במאגר, 9.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא Apache 2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי מלא, שינוי של הקוד והפצה חופשית בתוך מוצרים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים