DeciLM-7B-instruct — הדגמה

מה זה

אתם מקלידים שאלה או הנחיה בתיבת הטקסט, לוחצים על שליחה ומקבלים מענה טקסטואלי בתיבה נפרדת. הממשק נשען על ספריית גרדיו הפשוטה וכולל כפתור איפוס ודוגמאות מוכנות מראש שמציגות בקשות טיפוסיות למודל, אם כי תוכן הדוגמאות עצמן לא מפורט בקוד.

מאחורי הקלעים רץ DeciLM-7B-instruct, מודל שפה מאומן להוראות של חברת Deci הישראלית, יחד עם מודל הבסיס DeciLM-7B. הקוד טוען את המודל ישירות דרך ספריית הטרנספורמרים עם תמיכה בהזרמת טקסט, כך שהפלט אמור להיפלט ברצף ככל שהוא נוצר.

מתאים ל

• בדיקת מענה להנחיות

  מזינים פרומפט ובוחנים איך המודל מנסח תשובות, מסכם מידע או מבצע משימות טקסט פשוטות.

• שכפול והרצה עצמאית

  משכפלים את המרחב בלחיצה אחת כדי להרים סביבה פרטית עם חומרה מותאמת אישית.

• בחינת יכולות המודל

  מעריכים את איכות הפלט של משפחת DeciLM לפני שמשלבים אותה בקוד פיתוח אמיתי.

איפה זה נופל

הבעיה המרכזית היא שההדגמה מושבתת כרגע ולא תרוץ לכם בלחיצת כפתור בלי שכפול והקצאת חומרה. הממשק ספרטני ואינו כולל היסטוריית שיחה מתמשכת אלא קלט ופלט בודדים. בנוסף, חומרת מעבד בסיסית לא מציגה את מהירות ההסקה האמיתית של המודל, שנבנה במקור לפעול ביעילות על כרטיסים גרפיים.

אותה משפחה

DeciLM יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

בפועל אתם כותבים טקסט בשדה הקלט ולוחצים על כפתור השליחה. אין צורך בהרשמה כדי לגשת לעמוד הציבורי. עם זאת, המרחב נמצא כרגע במצב מושהה ומוגדר על חומרת מעבד בסיסית בלבד. זה אומר שכדי להריץ אותו תצטרכו לשכפל את המרחב לחשבון שלכם, ועל מעבד רגיל זמני התגובה למודל בגודל כזה יהיו אטיים מאוד.

pip install -U huggingface_hub
hf download Deci/DeciLM-7B-instruct

הקבצים

18 קבצים במאגר, 13.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00003.safetensors5.0 GB
• model-00002-of-00003.safetensors4.9 GB
• model-00003-of-00003.safetensors4.2 GB
• tokenizer.json1.8 MB
• tokenizer.model493.4 KB
• transformers_v4_35_2__modeling_llama.py56.4 KB
• model.safetensors.index.json23.9 KB
• modeling_decilm.py14.5 KB
• transformers_v4_35_2__modeling_attn_mask_utils.py10.1 KB
• transformers_v4_35_2__configuration_llama.py9.2 KB
• README.md6.3 KB
• benchmark_hf_model.py4.4 KB
• .gitattributes1.5 KB
• tokenizer_config.json1.3 KB
• config.json894 B
• configuration_decilm.py576 B
• special_tokens_map.json414 B
• version_check.py383 B

הרישיון

הקוד והמודל מופצים תחת רישיון apache-2.0, שמתיר שימוש מסחרי, שינוי והפצה חופשית. לגבי התוכן שאתם מעלים או מקבלים, ברישיון כזה אין בעלות של יוצרי הקוד על התוצרים שלכם, אך כדאי לבדוק את תנאי המודל עצמו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗