LLaMA-Pro-8B-Instruct-Chat

מה זה

הממשק מציג חלון צ'אט בסיסי בלי שום תוספות מיותרות. אתם מקלידים שאלה או הנחיה בתיבת הטקסט, ומקבלים תשובה שנוצרת בזמן אמת בתוך חלון השיחה. לפי הקוד, המערכת משתמשת בהזרמת טקסט, כך שהתשובה נבנית מילה אחרי מילה ולא מופיעה בבת אחת רק בסיום העיבוד.

מאחורי הקלעים רץ המודל TencentARC/LLaMA-Pro-8B-Instruct שנטען ישירות דרך ספריית הטרנספורמרים. המודל מסתמך על טוקנייזר רגיל שאינו מוגדר כמהיר, ומייצר טקסט בהתאם להקשר השיחה שנצבר בחלון. אין בממשק דוגמאות מובנות מראש, כפתורי הגדרות או אפשרויות מתקדמות לשינוי טמפרטורה ואורך הפלט, רק תיבת טקסט וכפתור ניקוי.

מתאים ל

• בדיקת המודל בהוראות

  שליחת שאלות ובקשות מנוסחות כדי לראות איך המודל מגיב להנחיות ישירות.

• ניהול שיחה רציפה

  בדיקת יכולת המודל לשמור על הקשר לאורך כמה הודעות ברצף.

• ניסויי ניסוח בסיסיים

  יצירה ועריכה של קטעי טקסט קצרים בתוך חלון צ'אט פשוט.

איפה זה נופל

הבעיה המרכזית כרגע היא טכנית לחלוטין, הדף לא עובד ואי אפשר להריץ בו פניות. חוץ מזה, הממשק דל במיוחד ולא מאפשר לשלוט על פרמטרים בסיסיים של יצירה כמו טמפרטורה, ואין בו דרך להעלות קבצים או לטעון מסמכים. מי שרוצה לבחון את היכולות האמיתיות של המודל יצטרך להוריד את המשקולות ולהריץ אותן באופן עצמאי.

איך משתמשים

כרגע אי אפשר להשתמש באפליקציה הזאת בדפדפן בכלל, כי היא תקועה במצב שגיאת ריצה. באופן עקרוני היא מוגדרת לרוץ על מאיץ גרפי חזק מסוג A10G גדול, חומרה שמספקת מהירות טובה מאוד למודל בגודל שמונה מיליארד פרמטרים, אבל בפועל שום דבר לא עולה ולא מגיב עד שהיוצרים יתקנו את הקוד.

הרישיון

המודל מופץ תחת רישיון לאמה 2. הרישיון מאפשר שימוש מסחרי ומחקרי תחת תנאי השימוש והמגבלות שהגדירה מטא, כולל מגבלות על כמות משתמשים חודשית והנחיות שימוש מקובל.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗