gemma-2B-10M

מה זה

המודל הזה לוקח את הבסיס המוכר של ג'מא עם שניים וחצי מיליארד פרמטרים ומלביש עליו ארכיטקטורה של תשומת לב מקומית חוזרת, בהשראת רעיונות כמו אינפיני-אטנשן וטרנספורמר-אקס-אל. המטרה כאן היא לפתור את צוואר הבקבוק של זיכרון ה־KV, שבמודלים רגילים גדל במהירות ולא מאפשר לעבד טקסטים ארוכים באמת.

במקום לקרוס כשהטקסט מתארך, הזיכרון כאן גדל בצורה ליניארית ומאפשר, לפי המפתחים, להגיע לעשרה מיליון טוקנים בהרצה שדורשת פחות משלושים ושניים גיגה זיכרון. מה ששונה פה מול גרסאות רגילות בגודל הזה הוא היכולת להחזיק ספרים שלמים או מאגרי קוד עצומים בזיכרון בלי להזדקק לחוות שרתים ענקית.

מתאים ל

• סיכום ספרים שלמים

  חלון הקשר של עשרה מיליון טוקנים מאפשר להזין טקסטים ספרותיים באורך מלא בלי לחתוך אותם לחלקים קטנים.

• מחקר על זיכרון ליניארי

  הוא מתאים לבדיקת מנגנוני תשומת לב מקומית חוזרת על חומרה יחידה של פחות משלושים ושניים גיגה.

• ניתוח מסמכי ענק מקומי

  הוא רלוונטי למי שחייב לעבד קבצי טקסט עצומים בלי לשלוח מידע לרשת ומחזיק כרטיס מסך תואם.

איפה זה נופל

זה לא מוצר שאפשר לשלב כרגע באפליקציה אמיתית. המפתחים עצמם כותבים שמדובר בצ'קפוינט מוקדם מאוד שעבר מאתיים צעדי אימון בלבד, כך שהיכולת שלו להבין טקסט מורכב או לענות בצורה מדויקת עדיין מוגבלת מאוד. חייבים לבדוק אם הוא בכלל שומר על קוהרנטיות ולא מאבד פרטים בהקשרים הארוכים שהוא מבטיח לקרוא לפני שבונים עליו משהו.

איך מריצים

בפועל אתם מורידים קבצים במשקל של תשעה נקודה ארבע גיגה וטוענים אותם ישירות דרך ספריית טרנספורמרס בפורמט בי-פלוט 16. לפי כרטיס המודל, מנגנון ההסקה מותאם לקיודה ודורש פחות משלושים ושניים גיגה של זיכרון עבודה כדי להריץ את חלון ההקשר המלא.

אם אין לכם כרטיס מסך מתאים עם לפחות שלושים ושניים גיגה זיכרון, אין מה לנסות להריץ את זה מקומית. עדיף לפנות ל־API חיצוני של ספק אחר אם אתם מחפשים יציבות, כי פה מדובר בקוד הרצה מותאם אישית שדורש התעסקות.

from transformers import pipeline

pipe = pipeline("text-generation", model="mustafaaljadery/gemma-2B-10M")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 9.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00003.safetensors5.0 GB
• model-00001-of-00003.safetensors4.9 GB
• model-00003-of-00003.safetensors134.2 MB
• tokenizer.json17.5 MB
• graphic.png1.3 MB
• tokenizer_config.json40.0 KB
• model.safetensors.index.json14.8 KB
• README.md1.9 KB
• .gitattributes1.6 KB
• config.json717 B
• special_tokens_map.json636 B
• generation_config.json137 B
• all_results.json0 B

הרישיון

המודל מפורסם תחת רישיון MIT. המשמעות פשוטה: מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים המקורית של המפתחים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗