DeciLM-7B

מה זה

מדובר במודל בסיס של חברת דסי הישראלית, שנבנה באמצעות אלגוריתם לחיפוש ארכיטקטורה בשם אוטונאק. במקום להשתמש במבנה קבוע של חלוקת ראשי תשומת לב, המודל משתנה בין השכבות כדי לחסוך חישובים בזיכרון. זה מאפשר לו לייצר טקסט בקצב מהיר משמעותית ממודלים כמו מיסטרל שבעה מיליארד, עם תמיכה בהקשר של שמונת אלפים טוקנים.

במבחני הבנצ'מרק הפתוחים הוא הגיע לממוצע של 61.55 נקודות, כולל 59.76 במבחן הידע אם אם אל יו וציון של 47.38 בפתרון בעיות חשבוניות. המספרים האלה מציגים רמת דיוק טובה לקבוצת המשקל שלו, אבל החוזק האמיתי שלו מופיע במספרי הריצה, במיוחד כשדוחפים באצ'ים גדולים בשרת ייעודי.

מתאים ל

• אימון בסיס למשימות ארגון

  נקודת מוצא טובה לפיין טיונינג פנימי בזכות ארכיטקטורה מהירה ורישיון מסחרי פתוח לחלוטין.

• עיבוד אצוות גדולות באנגלית

  ניצול תפוקת הטוקנים הגבוהה בריצה על שרתי כרטיסים כדי לסכם או לסווג כמויות גדולות של מידע.

• יצירת טקסט מהירה ברשת

  התאמה למערכות שדורשות זמני תגובה נמוכים מאוד ביצירת טקסט המשך באנגלית.

איפה זה נופל

המודל אומן ונבדק באנגלית בלבד, כך שאין שום הבטחה לתמיכה סבירה בעברית או בכל שפה אחרת בלי אימון ייעודי. בנוסף, מדובר במודל בסיס שפולט טקסט לא צפוי, כולל הזיות או הטיות, והוא לא עבר התאמות בטיחות לשיחה. ציון מבחן האמת טרות'פול קיו איי עומד על 40.33 נקודות בלבד, מה שמחייב לבצע בדיקות קפדניות לפני שמשלבים אותו במערכת אמיתית.

אותה משפחה

DeciLM יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הגולמי של הקבצים עומד על 13.1 גיגה בייט בדיוק בי פלוט שש עשרה. כדי להריץ אותו כמו שהוא בתשתית מקומית או בענן, תצטרכו כרטיס גרפי עם לפחות עשרים וארבעה גיגה זיכרון וידאו, או שרתי ענן ייעודיים כמו אי מאה אם רוצים להגיע למספרים הגבוהים שהחברה מציגה במדידות שלהם.

קחו בחשבון שזהו מודל בסיס ולא גרסת שיחה, כך שהוא לא יענה להוראות ישירות בצורה טבעית אלא רק ימשיך טקסט. למי שמחפש צ'אט שעובד ישר מהקופסה עדיף לפנות לגרסת האינסטרקט, ולמי שאין שרת כרטיסים פעיל יהיה זול ופשוט יותר להשתמש בנקודת קצה מנוהלת.

from transformers import pipeline

pipe = pipeline("text-generation", model="Deci/DeciLM-7B")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 13.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00003.safetensors5.0 GB
• model-00002-of-00003.safetensors4.9 GB
• model-00003-of-00003.safetensors4.2 GB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• transformers_v4_35_2__modeling_llama.py56.4 KB
• model.safetensors.index.json23.9 KB
• modeling_decilm.py14.5 KB
• transformers_v4_35_2__modeling_attn_mask_utils.py10.1 KB
• transformers_v4_35_2__configuration_llama.py9.2 KB
• README.md6.0 KB
• benchmark_hf_model.py4.4 KB
• .gitattributes1.5 KB
• tokenizer_config.json1.3 KB
• config.json895 B
• configuration_decilm.py576 B
• special_tokens_map.json414 B
• version_check.py383 B

הרישיון

הפרויקט משוחרר תחת רישיון אפאצ'י שתיים אפס. מותר להשתמש בו לצרכים מסחריים ומחקריים, לשנות אותו, לאמן אותו מחדש ולהטמיע אותו במוצרים סגורים, כל עוד שומרים על הודעת הרישיון המקורית וציון הקרדיט הנדרש.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗