gpu-poor-llm-arena
רץ בדפדפןk-mktrmit2024-10-17
השוואת מודלי שפה קטנים של עד 14 מיליארד פרמטרים בקרבות עיוורים זה מול זה. מתאים למי שרוצה לבדוק תשובות של מודלים חסכוניים בלי לשלם על שרתי ענן יקרים.
- —הורדות בחודש
- 351לייקים
מה זה
אתם כותבים פרומפט בתיבת הטקסט או מגרילים אחד בעזרת כפתור הקובייה, ושולחים אותו לבדיקה. שני מודלים שונים מייצרים תשובות במקביל תחת כינויים אנונימיים, ואתם מצביעים מי ניסח תשובה טובה יותר או בוחרים בתיקו וממשיכים לסיבוב נוסף עם פרומפט חדש. בסיום ההצבעה נחשפים השמות האמיתיים של הצמד שנלחם.
המערכת מבוססת על שרתי Ollama שנגישים דרך ממשק דמוי OpenAI, ומחזיקה רשימת מודלים שמתעדכנת מרחוק. המאגר כולל דגמים קלים ממשפחות מוכרות כמו LLaMA 3 מגרסת מיליארד פרמטרים עד 8 מיליארד, Gemma 2, סדרת Qwen 2.5, ודגמים כמו Mistral ו־Yi. תוצאות ההצבעות נשמרות ומעדכנות שתי טבלאות דירוג ציבוריות, אחת לפי אחוזי ניצחון משוקללים בכמות הקרבות ואחת לפי מדד ELO שלוקח בחשבון את גודל המודל היריב.
מתאים ל
- השוואת מודלים מקומיים
בדיקה עיוורת ראש בראש של ביצועי דגמי שפה קטנים לפני שבוחרים מה להתקין במחשב האישי.
- אימות איכות לפרומפטים
הרצת אותו ניסוח מול שני דגמים שונים כדי לראות אם ההוראות ברורות גם למודלים פחות מתוחכמים.
- מעקב אחרי ביצועי משקל קל
בחינת טבלאות הדירוג וחישובי ה־ELO כדי לזהות איזה מודל קומפקטי מוביל בתחום בלי להריץ מבחנים לבד.
איפה זה נופל
ההדגמה הנוכחית בעמוד נמצאת במצב PAUSED ואינה פעילה לשימוש מיידי בלי פריסה עצמאית של הקוד. מעבר לזה, המודלים מוגבלים מראש לתקרה של 14 מיליארד פרמטרים, ולכן אי אפשר לצפות פה לעומק, ליכולות תכנות מורכבות או להיגיון שמוצאים במודלים ענקיים. אם אתם בודקים פרומפטים בעברית, קחו בחשבון שרוב הדגמים הזעירים ברשימה לא אומנו היטב על השפה ועלולים להחזיר עברית שבורה או להמציא מילים.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא, הפרויקט פתוח לגמרי ורץ על קוד ברישיון MIT. מי שמוריד ומריץ אותו עצמאית משתמש בתוכנת Ollama חינמית על המחשב שלו, בלי צורך במנויים מסחריים.
האם אפשר להריץ את הזירה במחשב האישי?
כן, הקוד בנוי בדיוק בשביל זה ודורש פייתון 3.10 ומעלה, התקנת ספריות מתאימות והפעלת Ollama מקומי. פקודת ההרצה מעלה שרת שנגיש ישירות דרך הדפדפן.
מה קורה עם הטקסט שאני מקליד בזירה?
הטקסט נשלח לממשק המודלים לצורך הפקת התשובות, והצבעת הניצחון נרשמת ונשמרת בבסיס הנתונים של הדירוג שמתגבה כל 12 שעות. אין להזין מידע סודי או פרטי בשאלות.
למה הדף לא מייצר תשובות כרגע?
האפליקציה בעמוד המקורי נמצאת במצב מושהה. כדי להשתמש ביכולות שלה צריך לשכפל את המאגר ולהריץ את הקוד על מחשב או שרת משלכם.
איך משתמשים
לוחצים על כפתור הקובייה לקבלת שאלה לדוגמה או מקלידים שאלה לבד, ולוחצים על Generate Responses. בעמוד הנוכחי המצב מוגדר בהשהיה, כך שאי אפשר להריץ קרבות ישירות בדפדפן כרגע. מי שמריץ את הקוד עצמאית פותח שרת מקומי בפורט 7860 וצריך שרת Ollama פעיל ברקע. הזמן לתשובה תלוי בחומרה המקומית או במעבד הבסיסי שהוגדר כאן, ובהרצה מקומית מודלים של מיליארד עד שבעה מיליארד פרמטרים פולטים טקסט תוך כמה שניות עד חצי דקה. אין צורך בחשבון או בהתחברות כדי להצביע.
הרישיון
הקוד מופץ תחת רישיון MIT שמאפשר שימוש חופשי, העתקה, שינוי ושילוב בפרויקטים פרטיים ומסחריים. נתוני הדירוג וההצבעות נשמרים באחסון Nextcloud של הפרויקט עם גיבויים קבועים, והפרומפטים שמוזנים נשלחים ישירות לממשק ה־API שמוגדר במערכת.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש