DeciLM-6b-instruct — הדגמה

מה זה

אתם מקלידים הוראה או שאלה בתיבת הקלט, לוחצים על כפתור השליחה, ומקבלים תשובת טקסט רציפה בתיבת הפלט ממודל DeciLM-6b-instruct. המערכת מבוססת על ספריית transformers עם מעבד טקסט ייעודי ומנגנון הזרמת תשובות בזמן אמת, כך שהמילים מופיעות ככל שהן נוצרות ולא רק בסיום הריצה.

הממשק כולל דוגמאות מוכנות ששמורות מראש במטמון כדי שאפשר יהיה לראות תוצאה מיידית בלי להמתין לעיבוד מלא. מעבר לתיבת הטקסט ולכפתורי השליחה והניקוי, אין כאן הגדרות מתקדמות של יצירתיות או אורך תשובה מקסימלי, אלא חלון ישיר להרצת פרומפטים מול הארכיטקטורה של Deci.

מתאים ל

• בדיקת פרומפטים קצרים

  מזינים הנחיה ישירה ובודקים איך המודל מגיב ומבצע הוראות באנגלית.

• שכפול לסביבה פרטית

  מעתיקים את קוד הגראדיו להרצה על חומרה חזקה משלכם דרך הענן.

• התרשמות מדוגמאות מוכנות

  צופים בפלטים ששמורים מראש בזיכרון המטמון של הממשק בלי להמתין.

איפה זה נופל

הבעיה המיידית היא שהחלון כבוי לחלוטין ולא מחזיר תשובות בלי שתשכפלו אותו ותשלמו על משאבים. מעבר לזה, הממשק לא חושף כפתורי שליטה בטמפרטורה או פרמטרים של דגימה, כך שאתם תלויים לחלוטין בברירת המחדל שהוגדרה בקוד. כדאי לזכור שזה מודל משנת 2023, ושמעבד פשוט עלול לייצר צוואר בקבוק משמעותי במהירות התגובה אם תריצו אותו מחדש באותה תצורה.

אותה משפחה

DeciLM יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כרגע אי אפשר להריץ את ההדגמה ישירות בדפדפן כי השרת שלה נמצא במצב מושהה. בעמוד יש כפתור לשכפול המרחב לחשבון פרטי בהאגינג פייס, אבל כדי להפעיל אותו תצטרכו להקצות חומרה משלכם ולהזין טוקן גישה מתאים בקוד. החומרה המקורית שמוגדרת שם היא מעבד בסיסי בלבד, מה שאומר שגם כשהיא פעילה, ייצור טקסט ממודל בגודל כזה לוקח זמן ולא מרגיש מיידי כמו כרטיס גרפי ייעודי.

pip install -U huggingface_hub
hf download Deci/DeciLM-6b-instruct

הקבצים

16 קבצים במאגר, 10.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00003.safetensors5.0 GB
• model-00002-of-00003.safetensors4.9 GB
• model-00003-of-00003.safetensors1.6 GB
• tokenizer.json1.8 MB
• tokenizer.model499.7 KB
• sample.txt45.4 KB
• model.safetensors.index.json23.9 KB
• modeling_decilm.py12.7 KB
• LICENSE.md10.0 KB
• hf_benchmark_example.py6.5 KB
• README.md5.3 KB
• configuration_decilm.py1.9 KB
• .gitattributes1.5 KB
• config.json831 B
• tokenizer_config.json776 B
• Notice113 B

הרישיון

הפרויקט פועל תחת רישיון llama2. הרישיון הזה מתיר שימוש מסחרי ומחקרי בכפוף לתנאי השימוש המקוריים של מטא, כולל מגבלות על היקף משתמשים חודשי ואיסור על אימון מודלים מתחרים. המידע שתזינו נשלח ישירות לתשתית שמארחת את המרחב.

הרישיון המלא בעמוד המודל ↗