StripedHyena-Nous-7B

מה זה

במקום עוד שכפול של ארכיטקטורת Llama, יש כאן ארכיטקטורה היברידית שמשלבת בלוקים של Hyena יחד עם multi-head ו־grouped-query attention. הרעיון מגיע מעולמות עיבוד אותות ומודלים של מרחב מצב (SSM), שבהם פענוח הטקסט בבלוקי ה־Hyena דורש זיכרון קבוע ולא גדל לינארית עם כל טוקן שנוסף.

המודל אומן מראש על רצפים של עד 32 אלף טוקנים בשיתוף עם Nous Research, במטרה להציע אלטרנטיבה ישירה למודלי קוד פתוח מובילים בגודל 7B. היתרון המרכזי שהוא מציע אינו בהכרח דיוק שפתי עדיף, אלא מהירות דגימה גבוהה יותר וזמני השהיה נמוכים יותר בריצות של פרומפטים ארוכים.

מתאים ל

• שיחה בהקשר ארוך באנגלית

  מתאים לטקסטים עד 32k טוקנים באנגלית בזכות ארכיטקטורה ששומרת על זיכרון קבוע בזמן פענוח.

• מערכות עם דרישת שיהוי נמוך

  שילוב בלוקי Hyena מספק throughput גבוה וזמני תגובה קצרים יותר מטרנספורמרים רגילים בגודל 7B.

• מחקר ארכיטקטורות שאינן טרנספורמר

  משמש לבדיקת מודלים היברידיים המשלבים gated convolutions עם שכבות קשב בעולם האמיתי.

איפה זה נופל

זהו מודל באנגלית בלבד ואין שום עדות בכרטיס לתמיכה סבירה בעברית. בנוסף, הארכיטקטורה הלא שגרתית דורשת התקנת ספריות ייעודיות וקרנלים מותאמים, מה שאומר שהתמיכה בכלים סטנדרטיים של אופטימיזציה ושרתים מוכנים מראש מוגבלת מאוד בהשוואה לעולם של מודלי טרנספורמר רגילים. אם חבילת התוכנה שלכם לא תומכת ב־kernels האלה, המודל פשוט לא ירוץ.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־28.5 ג'יגה בייט בפורמט bfloat16, כך שתצטרכו לפחות כרטיס מסך יחיד עם 24 ג'יגה בייט VRAM כמו RTX 3090 או A10 כדי לטעון אותו, או לחלופין לפנות למאיץ ייעודי לשרתים. שימו לב שהמודל משתמש בדיוק מעורב, והיוצרים מציינים במפורש שיש להחזיק רכיבים מסוימים (poles ו־residues) בדיוק של float32, במיוחד בהקשרים ארוכים.

ההפעלה המקומית לא עובדת ישר מהקופסה של Hugging Face transformers. כדי להריץ אותו עצמאית נדרשת התקנה של קרנלים מותאמים אישית (custom kernels) מתוך המאגר של הפרויקט. אם אתם רק רוצים לבדוק את הביצועים שלו לפני שאתם מתעסקים עם קומפילציות של קרנלים מקומיים, עדיף פשוט לגשת ל־Playground או ל־API של together ולחסוך את כאב הראש התשתיתי.

from transformers import pipeline

pipe = pipeline("text-generation", model="togethercomputer/StripedHyena-Nous-7B")
print(pipe("שלום"))

הקבצים

21 קבצים במאגר, 28.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00002.bin9.9 GB
• model-00001-of-00002.safetensors9.9 GB
• pytorch_model-00002-of-00002.bin5.4 GB
• model-00002-of-00002.safetensors5.4 GB
• tokenizer.json1.8 MB
• vocab.json628.4 KB
• model.safetensors.index.json30.0 KB
• pytorch_model.bin.index.json28.5 KB
• model.py17.1 KB
• engine.py11.7 KB
• modeling_hyena.py5.5 KB
• layers.py5.2 KB
• README.md3.1 KB
• configuration_hyena.py3.1 KB
• utils.py2.7 KB
• config.json1.7 KB
• .gitattributes1.5 KB
• cache.py1.4 KB
• tokenizer_config.json142 B
• generation_config.json69 B
• special_tokens_map.json62 B

הרישיון

הפרויקט משוחרר ברישיון apache-2.0. זהו רישיון מתירני שמאפשר שימוש מסחרי מלא, שינוי של הקוד והמשקלים, והפצה מחדש בתוך מוצרים, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של תנאי הרישיון המקוריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗