falcon-7b

מה זה

מדובר במודל שפה מסוג דקודר בלבד עם 7.2 מיליארד פרמטרים, שאומן על 1,500 מיליארד טוקנים. מרבית המידע מגיע ממאגר רשת מסונן היטב בשם RefinedWeb, לצד תוספות של ספרים, שיחות וקוד. הוא נבנה כמודל גולמי שנועד לחזות את המילה הבאה, ולא אומן מראש לשיחה או למענה ישיר לפקודות.

הייחוד שלו לעומת חלופות באותו סדר גודל טמון בארכיטקטורה. הוא משלב מנגנון multiquery ושימוש ב־FlashAttention יחד עם בלוקים מקבילים של שכבות, מה שמפחית את צוואר הבקבוק החישובי בזמן יצירת הטקסט. במבחני OpenLLM Leaderboard הוא הציג תוצאות גבוהות יותר מדגמים מתחרים כמו MPT-7B ו־StableLM, מה שהופך אותו לנקודת מוצא חזקה במיוחד להתאמה אישית.

מתאים ל

• אימון מודל לתחום צר

  נקודת פתיחה מצוינת לכוונון עדין על דאטה פנים־ארגוני באנגלית בזכות ארכיטקטורה יעילה.

• השלמת טקסט וקוד

  מתאים למערכות אוטומציה שמייצרות המשך טבעי לפסקאות או קטעי קוד קצרים.

• מחקר וניסויי שפה

  פלטפורמה פתוחה לחלוטין לבדיקת שיטות דחיסה, כיול וארכיטקטורת שכבות בלי מגבלות קנייניות.

איפה זה נופל

המודל אומן בעיקר באנגלית ובצרפתית, עם מעט מאוד דאטה בשפות אירופיות נוספות. עברית הוא לא מכיר ברמה סבירה, ולכן אי אפשר להשתמש בו ליישומים מקומיים ללא אימון מסיבי מראש. מעבר לכך, מדובר במודל בסיס שנוטה להמשיך טקסטים בצורה עיוורת ולא מתוכנת לציית לבקשות, כך שפרומפטים רגילים ייכשלו. הדאטה שלו מבוסס על סריקת רשת פתוחה, ולכן הוא מייצר הטיות וסטריאוטיפים שדורשים שכבת סינון ובקרה לפני כל חשיפה למשתמשי קצה.

אותה משפחה

falcon יצא ב־7 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו להסקה צריך כרטיס מסך עם 16 גיגה־בייט זיכרון לפחות, לצד PyTorch 2.0 וספריית transformers של Hugging Face. המודל שוקל קרוב ל־27 גיגה־בייט בקבצי bfloat16, כך שתצטרכו תשתית ענן רצינית או שרת ייעודי כדי לעבוד איתו בצורה חלקה.

אם אתם צריכים צ'אטבוט או ממשק שעונה להוראות ישר מהקופסה, הגרסה הזו לא בשבילכם ותצטרכו לקחת את Falcon-7B-Instruct. להקמת שירות מהיר בלי לנהל שרתים וזיכרון וידאו, פשוט עדיף להתחבר ל־API מוכן או להשתמש במנוע כמו Text Generation Inference.

from transformers import pipeline

pipe = pipeline("text-generation", model="tiiuae/falcon-7b")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 26.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00002.bin10.0 GB
• model-00001-of-00002.safetensors10.0 GB
• pytorch_model-00002-of-00002.bin4.5 GB
• model-00002-of-00002.safetensors4.5 GB
• tokenizer.json2.7 MB
• modeling_falcon.py56.9 KB
• model.safetensors.index.json17.7 KB
• pytorch_model.bin.index.json16.9 KB
• README.md10.3 KB
• configuration_falcon.py7.2 KB
• .gitattributes1.5 KB
• config.json1.0 KB
• tokenizer_config.json287 B
• special_tokens_map.json281 B
• generation_config.json117 B

הרישיון

הרישיון הוא Apache 2.0 פתוח ומאפשר שימוש מסחרי מלא. אתם יכולים לשלב אותו במוצרים, להפיץ אותו, להריץ עליו כוונון עדין ולמכור שירותים שמבוססים עליו, בלי לשלם תמלוגים ובלי הגבלות מיוחדות, כל עוד אתם שומרים על הודעת הרישיון המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗