GPT
הוספת כלי
A

Apertus-70B-2509

קוד פתוח

swiss-aiapache-2.02025-09-02

  • transformers
  • safetensors
  • apertus
  • text-generation
  • multilingual

מודל 70B שנבנה מאפס עם דגש נדיר על שקיפות מלאה בדאטה, רישיון קוד פתוח אמיתי ויכולות רב לשוניות. הוא מיועד למי שחייב לדעת על מה המודל אומן ולא יכול להסתפק רק במשקלים סגורים.

  • 71Bפרמטרים
  • 65,536טוקנים בהקשר
  • 132 GBמשקל הקבצים
  • 57,530הורדות בחודש

מה זה

מדובר במודל שפותח בשווייץ ואומן על 15 טריליון טוקנים, כשהייחוד שלו הוא גישה חריגה של שקיפות: המפתחים שחררו לא רק את המשקלים אלא גם את סקריפטי שחזור הדאטה והצ'קפוינטים מהאימון. הוא תומך בהפעלת כלים ובחלון הקשר ארוך של 65,536 טוקנים, ותוכנן לעמוד בדרישות רגולציה מחמירות כמו ה־AI Act האירופי, כולל מנגנוני הסרת מידע לבקשת בעלי זכויות.

במבחני הבנצ'מרק של הבנת שפה כללית, המודל מציג ממוצע של 67.5 אחוז. המספר הזה מציב אותו בערך באותה רמה של Llama 3.1 70B שמגיע ל־67.3 אחוז, אך הוא נשאר מאחורי מודלים מובילים בקטגוריה כמו Qwen 2.5 72B שעומד על 69.8 אחוז. היתרון שלו הוא בעיקר במבחנים הרב-לשוניים כמו XCOPA, שם הוא מגיע ל־69.8 אחוז ועוקף את המתחרים בגודל הזה.

מתאים ל

  • ארגונים תחת רגולציה מחמירה

    הוא כולל תיעוד שקוף של הדאטה ועמידה מובנית ב־EU AI Act, שמתאימים לדרישות ציות קפדניות.

  • משימות סוכן עם הפעלת כלים

    התמיכה המובנית ב־tool use ובחלון של 65 אלף טוקנים מתאימה לריצת תהליכים מרובי שלבים.

  • עיבוד טקסטים בשפות רבות

    הוא תומך בכמות עצומה של שפות ומציג תוצאות גבוהות במיוחד בבנצ'מרקים רב-לשוניים.

איפה זה נופל

למרות האימון המוקפד, יוצרי המודל מציינים בפירוש שהוא עלול לייצר טעויות עובדתיות, כשלים לוגיים והטיות שמקורן בטקסטים מהרשת. נקודת תורפה משמעותית היא היעדר פילטר מובנה לסינון פרטי מידע אישיים בפלט. המפתחים מודים שאין כרגע סינון כזה ודורשים ממי שמטמיע את המודל לבדוק עדכונים ולהוריד פילטר חיצוני כל חצי שנה. בלי שכבת בדיקה עצמאית שלכם, אתם מסתכנים בפליטת מידע רגיש.

שאלות
נפוצות

האם המודל שווה את עלות ההרצה לעומת מודלים פתוחים אחרים?

אם אתם מחפשים ביצועים נטו, יש חלופות שמציגות ציונים גבוהים יותר באותה חומרה. הבחירה בו מוצדקת בעיקר כשאתם זקוקים לשקיפות משפטית מלאה על מקורות המידע או כשמערך הנתונים הרב-לשוני הקריטי לכם נתמך כאן טוב יותר.

מה הסיפור עם מחיקת המידע האישי שהמפתחים מציינים?

בניגוד לרוב המודלים, הפרויקט מאפשר לאנשים לבקש הסרה רטרואקטיבית של המידע שלהם. מכיוון שהמודל עצמו כבר אומן, הפתרון של החברה הוא שחרור פילטר פלט חיצוני שמתעדכן כל חצי שנה ומחייב אתכם לעקוב אחריו ולהתקין אותו ידנית.

איך מריצים

המשקלים תופסים 132 גיגהבייט בפורמט bfloat16 ומחולקים לעשרות קבצים, כך שאין שום סיכוי להריץ אותו מקומית בלי חומרה ארגונית ייעודית. תצטרכו שרת עם לפחות שני כרטיסי A100 או H100 של 80GB רק כדי לטעון אותו, או לחלופין לבצע קוונטיזציה אגרסיבית כדי לדחוס אותו לתחנת עבודה מבוססת מק עם שבב Apple Silicon חזק דרך MLX.

המפתחים ממליצים על דגימה עם temperature של 0.8 ו־top_p של 0.9. ברמת התוכנה הוא נתמך ישירות בגרסאות עדכניות של transformers החל מ־v4.56.0, וכן במנועי הסקה מהירים כמו vLLM ו־SGLang. לרוב המפתחים יהיה הרבה יותר זול והגיוני להרים אותו בשרת ענן לפי דרישה דרך vLLM ולא להחזיק תשתית קבועה.

from transformers import pipeline

pipe = pipeline("text-generation", model="swiss-ai/Apertus-70B-2509")
print(pipe("שלום"))

הקבצים

43 קבצים במאגר, 132 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0 סטנדרטי וחופשי לחלוטין. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד והמשקלים, להפיץ אותם מחדש ולשלב במוצרים סגורים בלי לשלם תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗