Serverless-TextGen-Hub

מה זה

אתם שולחים טקסט או תמונה דרך תיבת הצ'אט, והאפליקציה מחזירה תשובה בהתאם למודל שבחרתם. הממשק מציע רשימה מוגדרת מראש שכוללת את דגמי Llama 3.1 ו־3.2, Llama 3.3 בגרסת 70B, וכן גרסאות של Phi-3 מבית מיקרוסופט. מעבר לרשימה הזו, אפשר להקליד ידנית שם של כל מודל אחר שתומך בטקסט או מולטימודל.

מאחורי הקלעים הקוד משתמש ב־InferenceClient כדי לפנות לספקי הרצה חיצוניים, כך שהחישוב עצמו לא מתבצע על השרת של האפליקציה. בהגדרות יש שליטה ישירה בפרמטרים של ההרצה, כמו הוראת מערכת, טמפרטורה, הגבלת טוקנים, top_p, ענישה על חזרתיות וערך seed לקבלת תוצאות קבועות.

מתאים ל

• בדיקת פרומפטים במודלים שונים

  משווים את אותה השאלה בין מודלי Llama ו־Phi בלי להתקין סביבת פיתוח מקומית.

• ניתוח תמונות עם מודלי ראייה

  מעלים תמונה לתיבת הצ'אט כדי לבדוק איך Llama 3.2 11B Vision מפענח אותה.

• חיבור מודלים לפי מזהה

  מזינים ידנית שם של מודל נתמך מהמאגר ובודקים את התגובות שלו דרך הממשק.

איפה זה נופל

אם ספק ההרצה החיצוני עמוס או חוסם בקשות, תקבלו שגיאת תקשורת ישירות בממשק והשיחה פשוט תיעצר. בנוסף, חומרת המעבד הבסיסית של האפליקציה אומרת שאין כאן שום כוח עיבוד עצמאי, כך שאי אפשר להריץ דרכה מודלים שלא מחוברים כבר לתשתית צד שלישי.

איך משתמשים

נכנסים לדף, בוחרים מודל מתוך הרשימה או מקלידים מזהה של מודל נתמך, וכותבים הודעה. יש כפתור התחברות לחשבון Hugging Face עם תמיכה ב־OAuth, שמשפיע על ההרשאות מול ה־API. השרת של הממשק רץ על חומרת מעבד בסיסית בלבד, אבל הוא משמש רק לניתוב הפניות, ולכן מהירות התשובה תלויה בעיקר בספק התשתית שמריץ את המודל בפועל באותו רגע.

הרישיון

קוד האפליקציה מפורסם תחת רישיון apache-2.0 ומאפשר שימוש חופשי ושינוי. המודלים שמופעלים דרכה כפופים כל אחד לתנאי הרישיון המקוריים שלו, והמידע שאתם מעלים עובר לספקי ההרצה החיצוניים שמפעילים את ה־API.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗