Trinity-Nano-Preview

מה זה

מדובר במודל שיחה שמבוסס על ארכיטקטורת תערובת מומחים עם שישים ואחד מיליארד פרמטרים בסך הכול, אבל רק מיליארד אחד מהם פעיל בכל רגע נתון. המבנה כולל מאה עשרים ושמונה מומחים, שמתוכם המערכת מפעילה שמונה מומחים ספציפיים ומומחה אחד משותף עבור כל טוקן. הוא אומן על עשרה טריליון טוקנים, כולל תוספות של מתמטיקה וקוד, במטרה לספק מענה זריז שמכוון לאינטראקציה טבעית.

הייחוד כאן הוא השילוב בין חלון הקשר ענקי של מאה שלושים ואחד אלף טוקנים לבין דרישות חישוב בפועל של מודל זעיר. בגלל שרק כשמונה מאות מיליון פרמטרים שאינם הטמעות פעילים בכל שלב, מהירות התגובה גבוהה מאוד ביחס לגודל המשקלים הכולל שהוא תופס על הדיסק ובזיכרון.

מתאים ל

• ניסויי שיחה מקומיים

  הוא מיועד למי שרוצה לבדוק מודל צ'אט קליל וישיר על מחשב אישי בלי תלות ברשת.

• בדיקת ארכיטקטורת מומחים

  התנסות טכנית בהרצת מודל דליל שמפעיל שבריר מהפרמטרים בכל טוקן.

• עיבוד מסמכים ארוכים באנגלית

  ניצול חלון ההקשר הגדול של מאה עשרים ושמונה אלף טוקנים על גבי חומרה ביתית.

איפה זה נופל

המפתחים עצמם מזהירים שמדובר בגרסת תצוגה ניסיונית שעלולה להיות לא יציבה. הדחיפה של הארכיטקטורה לקצה, שבה מפעילים רק שמונה מאות מיליון פרמטרים מתוך שישה מיליארד, גורמת לתנודתיות בתשובות. המודל לא מתאים להטמעה בסביבת ייצור בלי בדיקות מעמיקות על התרחיש הספציפי שלכם. בנוסף, עברית לא נכללת ברשימת השפות הנתמכות שלו, שמתמקדת באנגלית, ערבית וכמה שפות אירופיות, כך שאי אפשר לבנות עליו לעיבוד טקסט מקומי.

איך מריצים

קבצי המודל שוקלים אחד עשר נקודה ארבעה גיגה בייט, כך שצריך כרטיס מסך עם לפחות שישה עשר גיגה זיכרון כדי להריץ אותו בשלמותו בפורמט הרגיל, או להשתמש בגרסאות מכווצות דרך לאמה סי פי פי על חומרה צנועה בהרבה. הוא נתמך ישירות בטרנספורמרס, בוי אל אל אם, ובלם סטודיו לבדיקה מקומית מהירה.

המפתחים הבהירו שהם לא מארחים את המודל בשום שירות ענן, ולכן אין אפשרות לצרוך אותו דרך ממשק חיצוני מוכן. אם אתם רוצים לבדוק אותו, חובה להוריד את המשקלים ולהרים את השרת אצלכם.

from transformers import pipeline

pipe = pipeline("text-generation", model="arcee-ai/Trinity-Nano-Preview")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 11.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00003.safetensors5.0 GB
• model-00001-of-00003.safetensors5.0 GB
• model-00003-of-00003.safetensors2.2 GB
• tokenizer.json14.6 MB
• model.safetensors.index.json1.9 MB
• modeling_afmoe.py26.6 KB
• tokenizer_config.json6.2 KB
• README.md4.8 KB
• configuration_afmoe.py4.8 KB
• chat_template.jinja2.7 KB
• LICENSE2.6 KB
• config.json2.6 KB
• .gitattributes1.6 KB
• special_tokens_map.json436 B
• generation_config.json69 B

הרישיון

המודל שוחרר תחת רישיון פתוח שנקרא אופן אם די וו אחת נקודה אחת. אם אתם מתכננים להפיץ אותו בתוך מוצר מסחרי, מומלץ לקרוא את תנאי הרישיון המקוריים של הפרויקט כדי לוודא שאין הגבלות שימוש ספציפיות על המשקלים.

הרישיון המלא בעמוד המודל ↗