plamo-2-1b

מה זה

במקום עוד ארכיטקטורת שנאי רגילה, המודל הזה בנוי על ארכיטקטורה היברידית בסגנון Samba. הוא מחבר מודל מצב מרחבי סלקטיבי מסוג Mamba2 יחד עם מנגנון קשב בחלון נע, בתוספת שכבות נירמול לייצוב האימון. הרעיון הוא לקבל יעילות חישובית גבוהה לצד זיכרון של קונטקסט ארוך.

הוא אומן על ארבעה טריליון טוקנים בשני שלבים שונים. החלוקה התמקדה בעיקר באנגלית, יפנית וקוד, מה שהופך אותו לרלוונטי במיוחד למי שעובד ישירות עם שוק יפני או שפותח פתרונות שמשלבים את שתי השפות האלו בתוך תשתית מקומית קטנה.

מתאים ל

• אימון ייעודי ליפנית

  מודל בסיס שראה מעל טריליון טוקנים ביפנית ומתאים לכוונון עדין למשימות שפה מקומיות.

• מחקר ארכיטקטורות היברידיות

  בדיקת התנהגות ויעילות של שילוב Mamba2 וקשב בחלון נע מול מודלי שנאי רגילים.

• השלמת קוד וטקסט מקומית

  חומרה פשוטה יכולה להריץ אותו מקומית להשלמת משפטים באנגלית או יפנית.

איפה זה נופל

זה מודל בסיס בלבד. הוא לא עבר התאמה להוראות או לשיחה, ולכן אי אפשר לזרוק אליו שאלה ולצפות לתשובה מנומסת, אלא רק להשלמת טקסט עיוורת. בנוסף, הוא אומן רק על אנגלית, יפנית ומעט קוד, כך שאין מה לצפות ממנו להבנה של עברית. היוצרים שלו מציינים במפורש שהוא מסוגל לייצר פלטים שגויים או מוטים ומחייב בדיקות בטיחות וכיול ייעודי לפני שמשלבים אותו במוצר אמיתי.

איך מריצים

כדי להריץ אותו צריך ספריית transformers יחד עם התלויות המיוחדות שלו: mamba_ssm ו־causal_conv1d, לצד numba בשביל הטוקנייזר. הרצת קוד כזה מחייבת שימוש בדגל שמאשר קוד מרוחק מהמאגר. המשקל הכולל של הקבצים עומד על כמעט חמישה גיגה-בייט, כך שהוא נכנס בקלות לכרטיס מסך בודד ופשוט עם שמונה גיגה זיכרון.

אם אתם לא צריכים את הארכיטקטורה הספציפית הזו או שאתם מחפשים מודל מוכן לצ׳אט שמגיב ישר מהקופסה, אין סיבה להסתבך עם התקנת קרנלים של מאמבה. במקרה כזה עדיף לפנות ל־API חיצוני של מודל כללי.

from transformers import pipeline

pipe = pipeline("text-generation", model="pfnet/plamo-2-1b")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 4.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00007.safetensors4.1 GB
• model-00003-of-00007.safetensors819.2 MB
• model-00002-of-00007.safetensors285.2 MB
• tokenizer.jsonl3.3 MB
• model-00004-of-00007.safetensors621.4 KB
• model-00005-of-00007.safetensors132.0 KB
• modeling_plamo.py68.2 KB
• model.safetensors.index.json19.5 KB
• tokenization_plamo.py16.9 KB
• LICENSE11.4 KB
• model-00006-of-00007.safetensors5.3 KB
• README.md3.9 KB
• .gitattributes1.5 KB
• config.json1.3 KB
• tokenizer_config.json1.2 KB
• special_tokens_map.json587 B
• generation_config.json111 B
• model-00007-of-00007.safetensors40 B

הרישיון

הרישיון הוא Apache 2.0 מלא. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד והמשקלים, ולשלב אותו במוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗