temp-latest-training-models

קוד פתוח

BlinkDLapache-2.02023-08-05

rwkv

מאגר ניסיוני של נקודות ביקורת מפרויקט RWKV, כולל בדיקות מוקדמות לגרסה 7. הוא מיועד למי שרוצה לבדוק התנהגות של ארכיטקטורת RNN מודרנית לפני שהיא מיוצבת.

38.0 GBמשקל הקבצים
2,712הורדות בחודש
70לייקים

מה זה

מדובר במאגר זמני שמכיל קובצי אימון גולמיים ונקודות בדיקה, ולא במודל סופי שעבר אופטימיזציה. הוא כולל בין היתר צ'קפוינטים של RWKV-7 וקובצי מצב ייעודיים לתשובות במענה בודד. המטרה כאן היא לתת גישה מוקדמת להתפתחויות סביב פרויקט World, שמשלב יתרונות זיכרון של רשתות חוזרות עם יכולות עיבוד שדומות לטרנספורמרים.

האימון כאן מתבסס על תת-מדגם של דאטה-סט בשם world, אבל בלי חלק ניכר מנתוני הזיכוך להוראות. לפי התיעוד הוכנסו רק תתי-מדגמים ממאגרים כמו flan, PIPPA ו־COIG-PC-core. זה אומר שאי אפשר לצפות פה לעקביות במעקב אחר הנחיות כמו במודל הוראות מלוטש, אלא בבדיקת ביצועים פנימיים של הארכיטקטורה בלבד.

מתאים ל

בדיקת ארכיטקטורת RWKV-7
מאפשר לבחון צ'קפוינטים ראשוניים של הגרסה ישירות מול ai00_server.
מחקר על שמירת מצבים
מתאים למי שחוקר שימוש בקובצי מצב מובנים לצורך מענה בשאלה ותשובה בודדת.
ניתוח אימון עם דאטה חלקי
עוזר לבדוק איך המודל מתנהג עם תתי-מדגמים ספציפיים כמו flan ו־COIG.

איפה זה נופל

זהו מאגר לא יציב בהגדרה. המפתח עצמו מצהיר שהקוד שלו מבולגן ושרק חלק קטן מדאטה ההוראות המזוכך נכלל באימון. המאגר מציע מצבים שמוגבלים לשאלות ותשובות של סיבוב בודד בלבד, מה שאומר שהוא לא מותאם לשיחה מתמשכת בלי התערבות ידנית במצב המודל. לא מומלץ לשלב את הקבצים האלה בסביבת ייצור בלי לבדוק לעומק עמידות והזיות.

שאלות
נפוצות

האם כדאי להוריד את כל 38 הג'יגה-בייט?

לא. מדובר ב־36 קבצים שונים שכוללים גרסאות ומצבים שונים שנשמרו במהלך הניסויים. עדיף להיכנס לעץ הקבצים ולבחור רק את הצ'קפוינט שרלוונטי למחקר שלכם.

האם המודל יודע לנהל צ'אט רב-שלבי?

הקובצי מצב שמופיעים בדף מוגדרים במפורש לשאלות ותשובות בסיבוב בודד. אם תרצו לנהל שיחה ארוכה תצטרכו לנהל את המצבים בעצמכם או לחכות למודל סופי.

איך מריצים

את המשקלים מריצים באמצעות ספריית הפייתון rwkv או דרך שרת ai00_server שתומך בהם. המאגר שוקל 38 ג'יגה-בייט ומחולק לעשרות קבצים נפרדים, כך שלא מורידים כאן קובץ בודד לשימוש מיידי אלא בוחרים את הצ'קפוינט או המצב הספציפי שמעניין אתכם.

אם אתם מחפשים מודל שיענה לכם ישר מהקופסה דרך שירות מנוהל, הדף הזה לא בשבילכם. אין פה ממשק מוכן, ודרוש כרטיס גרפי מתאים כדי לטעון משקלים גולמיים של גרסה שנמצאת בפיתוח פעיל.

pip install -U huggingface_hub
hf download BlinkDL/temp-latest-training-models

הקבצים

36 קבצים במאגר, 38.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מופץ תחת רישיון Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו הלאה, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗