Falcon3-10B-Base

מה זה

מדובר במודל גלם שנוצר מהרחבת עומק של גרסת 7B ועבר אימון על שני טרה-טוקנים נוספים של קוד, מדע ורשת בעזרת אלף כרטיסי H100. הוא לא עבר התאמה לשיחה, אלא נבנה כדי להמשיך טקסט או לשמש בסיס לכוונון עדין. הארכיטקטורה כוללת 40 שכבות וחלון הקשר של 32,768 טוקנים שתומך בארבע שפות בלבד: אנגלית, צרפתית, ספרדית ופורטוגזית.

במבחני ביצועים מול דגמים כמו Gemma 2 9B או Mistral Nemo 12B, הוא מוביל בעיקר בתחום המתמטיקה והחשיבה. הציון שלו ב־GSM8K עומד על 81.4 לעומת 69.1 של גמא, וב־MATH ברמה חמש הוא הגיע ל־22.9 מול 10.5. מצד שני, במבחני היגיון פשוט והבנה כללית כמו PIQA ו־SciQ, הוא דווקא מקבל ציונים נמוכים במעט ממתחריו.

מתאים ל

• בסיס לכוונון מודל מתמטי

  ציוני המתמטיקה הגולמיים שלו חריגים לטובה בקטגוריית הגודל הזו ומהווים נקודת פתיחה מצוינת.

• השלמת קוד וטקסט טכני

  הוא אומן על נתוני STEM וקוד בהיקף נרחב ומציג תוצאות גבוהות במבחני חשיבה כמו BBH.

• אימון מודל הוראות בארבע שפות

  התשתית תומכת מראש באנגלית, צרפתית, ספרדית ופורטוגזית בתוך חלון של 32K טוקנים.

איפה זה נופל

זהו מודל בסיס מוחלט, מה שאומר שהוא אינו מיועד למענה על שאלות בצורת צ'אט ולא יציית להוראות מורכבות בלי כוונון ייעודי. הכרטיס עצמו מדגיש שחובה לבצע עליו אימון המשך כמו SFT או RLHF לרוב השימושים. בנוסף, אין לו שום תמיכה רשמית בעברית, כך שניסיון להשתמש בו ישירות בשפה מקומית ייכשל לחלוטין ללא אימון על דאטה מתאים.

אותה משפחה

Falcon3 יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו בפורמט המקורי של bfloat16 תצטרכו כרטיס מסך עם לפחות 24 גיגה זיכרון, כמו RTX 3090 או A10G, שכן משקל הקבצים לבדו תופס מעל 19 גיגה. גודל הקשר מלא של 32K טוקנים ידרוש אפילו יותר זיכרון עבור ה־KV Cache למרות השימוש ב־Grouped Query Attention.

הטעינה מתבצעת ישירות דרך ספריית transformers הרגילה בעזרת פייפליין פשוט של text-generation. אם אתם צריכים רק להשלים פרומפטים בודדים בלי לאמן אותו מחדש, עדיף להשתמש בפתרון ענן קיים או לחפש גרסה שעברה כיול (quantization) כדי לא לתפוס שרת שלם.

from transformers import pipeline

pipe = pipeline("text-generation", model="tiiuae/Falcon3-10B-Base")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 19.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00005.safetensors4.9 GB
• model-00001-of-00005.safetensors4.9 GB
• model-00003-of-00005.safetensors4.9 GB
• model-00004-of-00005.safetensors4.9 GB
• model-00005-of-00005.safetensors946.9 MB
• tokenizer.json9.8 MB
• tokenizer_config.json362.4 KB
• model.safetensors.index.json29.9 KB
• README.md9.1 KB
• .gitattributes1.5 KB
• special_tokens_map.json826 B
• config.json659 B
• generation_config.json91 B

הרישיון

המודל מופץ תחת רישיון ייעודי בשם TII Falcon-LLM License 2.0 שאינו רישיון קוד פתוח סטנדרטי כמו Apache או MIT. זה דורש בדיקה מעמיקה של תנאי הרישיון המקוריים באתר המפתח לפני כל הטמעה במוצר מסחרי, שכן מדובר בהגדרת רישיון מסוג other.

הרישיון המלא בעמוד המודל ↗