falcon-7b-instruct

מה זה

מדובר במודל שפה מסוג causal decoder שמבוסס על מודל הבסיס Falcon-7B ועבר כוונון ייעודי על תערובת של 250 מיליון טוקנים ממאגרי שיחה והוראות כמו Baize ו־GPT4All. המטרה שלו היא לענות ישירות לפקודות ולנהל דיאלוג בלי שתצטרכו לאמן אותו בעצמכם על דאטה של שיחות.

הייחוד הטכני שלו מול מודלים אחרים באותו סדר גודל נמצא בארכיטקטורה. הוא משלב מנגנון multiquery יחד עם FlashAttention וחיבור מקבילי בין שכבות הקשב לשכבות ה־MLP. השילוב הזה נועד לייעל ולזרז את שלב ההסקה, כך שהוא דורש פחות תעבורת זיכרון בזמן יצירת הטקסט בהשוואה לארכיטקטורות סטנדרטיות.

מתאים ל

• עוזר שיחה פנימי באנגלית

  מתאים לניהול דיאלוגים קצרים ומענה ישיר לשאלות באנגלית, בזכות כוונון מוקדם על שיחות.

• ביצוע הוראות טקסטואליות

  טוב למשימות עיבוד טקסט פשוטות באנגלית שדורשות הבנת פקודה והחזרת תשובה ממוקדת.

• הסקה מהירה בחומרה מוגבלת

  מתאים למי שמחזיק מעבד גרפי של 16 גיגה-בייט ורוצה זמני תגובה קצרים יחסית.

איפה זה נופל

האימון נעשה כמעט כולו על טקסטים באנגלית, עם מעט מאוד צרפתית, כך שהוא לא מתאים לעבודה בעברית ולא יתפקד בה כמו שצריך. בנוסף, חלון ההקשר מוגבל ל־2,048 טוקנים בלבד, מה שמקשה מאוד על עבודה עם מסמכים ארוכים או שיחות מתמשכות. היוצרים מצהירים במפורש שהמודל כולל הטיות וסטריאוטיפים שמגיעים מדאטה שנאסף מהרשת, ושהוא אינו מתאים לשימוש נוסף של כוונון עדין אלא להסקה בלבד.

אותה משפחה

falcon יצא ב־7 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו להסקה אתם צריכים לפחות 16 גיגה-בייט של זיכרון, ומומלץ כרטיס מסך שתומך ב־bfloat16. הקוד מחייב שימוש ב־PyTorch 2.0 ומעלה ודורש להפעיל את הדגל trust_remote_code בזמן הטעינה בספריית transformers כדי למשוך את הגדרות המודל הייעודיות.

אם יש לכם כרטיס מקומי עם פחות מ־16 גיגה זיכרון גרפי, לא תוכלו להריץ אותו ישירות בתצורה הזו, ועדיף להשתמש בשרת ענן ייעודי עם מעבד גרפי מתאים או בתשתית כמו Text Generation Inference שממקסמת את מהירות הריצה שלו.

from transformers import pipeline

pipe = pipeline("text-generation", model="tiiuae/falcon-7b-instruct")
print(pipe("שלום"))

הקבצים

19 קבצים במאגר, 52.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• coreml/text-generation/falcon-7b-64-float32.mlpackage/Data/com.apple.CoreML/weights/weight.bin27.7 GB
• pytorch_model-00001-of-00002.bin10.0 GB
• model-00001-of-00002.safetensors10.0 GB
• pytorch_model-00002-of-00002.bin4.5 GB
• model-00002-of-00002.safetensors4.5 GB
• tokenizer.json2.7 MB
• coreml/text-generation/falcon-7b-64-float32.mlpackage/Data/com.apple.CoreML/model.mlmodel396.5 KB
• modeling_falcon.py56.9 KB
• model.safetensors.index.json17.7 KB
• pytorch_model.bin.index.json16.9 KB
• README.md9.9 KB
• configuration_falcon.py7.2 KB
• .gitattributes1.5 KB
• handler.py1.2 KB
• tokenizer_config.json1.1 KB
• config.json1.0 KB
• coreml/text-generation/falcon-7b-64-float32.mlpackage/Manifest.json617 B
• special_tokens_map.json281 B
• generation_config.json117 B

הרישיון

המודל מופץ תחת רישיון Apache 2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הקוד והפצה חופשית, כולל שילוב ישיר בתוך מוצרים מסחריים סגורים, בלי דרישה לתמלוגים ובתנאי ששומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗