GPT
הוספת כלי
A

Apertus-70B-Instruct-2509

קוד פתוח

swiss-aiapache-2.02025-09-01

  • transformers
  • safetensors
  • apertus
  • text-generation
  • multilingual

מודל פתוח לגמרי של 71 מיליארד פרמטרים שאומן על נתונים נקיים משפטית. מתאים למי שחייב שקיפות מלאה במקורות המידע בלי להתפשר על תמיכה במאות שפות.

  • 71Bפרמטרים
  • 65,536טוקנים בהקשר
  • 132 GBמשקל הקבצים
  • 25,042הורדות בחודש

מה זה

המודל הזה נבנה מאפס על גבי 15 טריליון טוקנים כדי להציע חלופה פתוחה לחלוטין למודלים המסחריים. הייחוד האמיתי שלו מול משפחות כמו Llama או Qwen הוא לא רק משקלי המודל, אלא חשיפה מלאה של מערכי הנתונים, תסריטי השחזור והצ'קפוינטים ששימשו באימון. המפתחים התמקדו בהיענות לדרישות רגולציה מחמירות של זכויות יוצרים ומחיקת מידע, תכונה נדירה בקנה מידה כזה.

במדדי ההבנה הכלליים הוא מציג ממוצע של 67.5 נקודות, תוצאה שמתחרה ישירות ב־Llama 3.1 70B ומנצחת אותו במשימות רב לשוניות כמו XCOPA עם 69.8 נקודות. עם זאת, הוא מפסיד ל־Qwen 2.5 72B במבחני היגיון כמו ARC ו־WinoGrande. היכולת המרכזית שלו נשענת על תמיכה ילידית ב־1811 שפות, הפעלת כלים ועיבוד הקשרים של עד 65,536 טוקנים.

מתאים ל

  • פיתוח יישומים מרובי שפות

    אימון ייעודי על 1811 שפות מאפשר תרגום, מענה ועיבוד טקסטים בשפות עם מעט משאבים ברשת.

  • מערכות בארגונים מפוקחים

    תיעוד האימון המלא ושמירה על זכויות יוצרים עונים על דרישות רגולציה אירופאיות מחמירות.

  • סוכנים אוטונומיים ארוכים

    תמיכה מובנית בהפעלת כלים וחלון הקשר של 65,536 טוקנים מאפשרים מעקב אחר תהליכי עבודה מורכבים.

איפה זה נופל

הכרטיס מודה בפירוש שהפלט עלול להכיל חוסר דיוק עובדתי, כשלים לוגיים והטיות שמקורן בנתוני האימון. בעיה קריטית יותר לייצור היא היעדר מסנן פלט מובנה למידע מזהה אישי. המפתחים מציינים שסינון כזה עדיין לא קיים וידרוש הורדת עדכונים תקופתיים בעתיד, כך שחובה להקים שכבת סינון ובדיקה עצמאית לפני שמשלבים אותו במערכת שפונה למשתמשים.

שאלות
נפוצות

איזה זיכרון כרטיס מסך נדרש כדי להריץ את המודל ללא פגיעה בדיוק?

המשקלים עצמם שוקלים 132GB בפורמט המקורי. להרצה יציבה שכוללת גם את זיכרון חלון ההקשר תצטרכו לפחות 160GB של VRAM, כלומר צמד כרטיסי 80GB.

האם המודל מוגן מפני חשיפת מידע פרטי וזכויות יוצרים?

היוצרים אימנו את המודל תוך כיבוד בקשות הסרה, אבל כרגע אין מסנן פלט מובנה. המפתחים ממליצים להוסיף מנגנון סינון חיצוני כדי למנוע דליפת פרטים אישיים.

איך מריצים

כדי להריץ מודל במשקל 132 גיגה בייט בפורמט bfloat16 דרושה תשתית רצינית של לפחות שני כרטיסי A100 או H100 בנפח 80GB כל אחד, או קוונטיזציה כבדה אם מנסים לדחוף אותו למכונה בודדת. המודל נתמך ישירות ב־vLLM, SGLang וספריית transformers החל מגרסה 4.56.0, ויש לו גם תמיכה בהרצה מקומית על מחשבי מק דרך MLX.

אם אין לכם שרת ייעודי כזה שעובד מסביב לשעון, החזקה עצמית של החומרה תעלה אלפי דולרים בחודש. במקרה כזה עדיף לצרוך אותו דרך ספק API שמארח את המשקלים, אלא אם פרטיות המידע והרגולציה מחייבות אתכם לבודד את הריצה לחלוטין ברשת הפנימית.

from transformers import pipeline

pipe = pipeline("text-generation", model="swiss-ai/Apertus-70B-Instruct-2509")
print(pipe("שלום"))

הקבצים

42 קבצים במאגר, 132 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

רישיון apache-2.0 מאפשר שימוש מסחרי מלא, שינוי הקוד והפצה חופשית של המודל והתוצרים שלו. התנאי היחיד הוא שמירה על הודעות זכויות היוצרים והרישיון המקורי, בלי חובת תשלום תמלוגים או הגבלות שימוש סגורות.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗