Twelve Labs

הסקירה

אתם שולחים בקשת קוד בסיסית אל Twelve Labs, והיא מעבדת קובץ וידאו מלא בלי להסתמך רק על תמלול או כתוביות מוכנות מראש. רוב המנועים בתחום הזה לוקחים את האודיו, ממירים אותו לטקסט רגיל, ומריצים חיפוש מילים יבש על מה שנאמר בקול. כאן המנוע מנתח את מה שרואים על המסך עצמו, את ההתרחשויות החזותיות ואת הרצף של התנועה לאורך ציר הזמן. מי שמחפש עורך וידאו עם כפתורים גרפיים לא ימצא פה כלום מלבד שורות קוד ותיעוד טכני. זה כלי שמיועד ישירות לפיתוח יישומים ולא לעבודה משרדית רגילה מול ממשק משתמש פשוט.

הכלי פועל כולה דרך תשתית API שמיועדת למפתחים ולצוותי תוכנה שרוצים להטמיע הבנת וידאו עמוקה בתוך המוצר שלהם. אם יש לכם מאגר עצום של אלפי שעות צילום מאובטחות או ארכיון מדיה שלם, אתם מקבלים דרכו אפשרות לתשאל את הסרטונים בשפה חופשית. במקום להושיב עובדים שיצפו בכל פריים ויסמנו תגיות באופן ידני, המנוע מזהה פעולות מורכבות ומחזיר חותמות זמן מדויקות לאירוע המבוקש. האתר עצמו כתוב באנגלית בלבד, ואין שם עדות לממשק בעברית או תמיכה מקומית.

איך זה עובד בפועל

חיפוש וידאו קונבנציונלי נכשל ברגע שמישהו במסך מבצע פעולה בלי לדבר עליה בקול רם, וזה המקום שבו הפיתוח הזה מנסה לתת מענה. אתם מעבירים סרטון אל השרתים שלהם, והמערכת מייצרת ייצוג וקטורי שמחבר בין התמונה, הקול והתנועה בחלל הפריים. כשתרצו לאתר קטע שבו אדם פותח דלת אדומה ברחוב גשום, הבקשה תמצא את הנקודה המדויקת גם אם שום מילה לא נאמרה באותו רגע. זה שונה לחלוטין מכלים שרק שולפים טקסט מתוך קובצי כתוביות.

זה לא עובד על קסמים.

מבחינת התאמה, לא הייתי משתמש בזה אם כל מה שאתם צריכים זה לחתוך קטעים קצרים לסושיאל או להדביק כתוביות אוטומטיות לטיקטוק. בשביל משימות כאלה יש מוצרי קצה פשוטים שעושים את העבודה בלי שום צורך בשורת קוד אחת. הכלי הזה מתאים לחברות שמנהלות כמויות עצומות של תוכן מצולם, כמו גופי שידור, חברות אבטחה, או פלטפורמות לימוד שרוצות לחפש בתוך הרצאות בלי לסמוך רק על השמע. מה שבאמת מפריע כאן הוא העובדה שאתם תלויים לחלוטין בשליחת קובצי וידאו כבדים אל שרת חיצוני מרוחק.

השליחה הזו לוקחת זמן.

כמה זה עולה, ולמה לא כתוב

בנושא הכסף יש כאן ערפל מוחלט מפני שדף התמחור פשוט אינו מציג מספרים, תוכניות מוגדרות מראש או עלויות לפי דקת עיבוד. אתם נדרשים להירשם או ליצור קשר כדי להבין כמה תשלמו בפועל, וזה חיסרון משמעותי לכל מי שמתכנן תקציב לפרויקט חדש. בתחום עיבוד הווידאו, עלויות תשתית וחישוב נוטות לזנק בקצב מהיר מאוד ככל שנפח השעות עולה. העובדה שאין מחירון גלוי בשקלים או בדולרים מחייבת אתכם לדבר איתם ישירות לפני שאתם מתחילים לבנות ארכיטקטורה שמסתמכת עליהם.

המחיר קופץ מהר.

• מחירוןלא צוין באתר
• גישהממשק API למפתחים
• שפת ממשקאנגלית בלבד

אם הפרויקט שלכם מבוסס על תוכן שמשלב עברית בדיבור או בכיתובים, כדאי לכם להתנהל בזהירות יתרה ולבדוק אותו היטב. המודל אמנם נשען על ראייה ממוחשבת חזותית שלא תלויה בשפה, אבל כל רכיב שמתבסס על הבנת שפה טבעית עלול לקרטע בעברית. מאגרי המידע שעליהם אומנו מנועים כאלה מגיעים כמעט תמיד מהעולם דובר האנגלית, ולכן שאילתות מקומיות או ניתוח שיחה מקומית עשויים לתת תוצאות פחות טובות. זה שווה את זה רק אם יש לכם צורך מובהק בחיפוש חזותי שלא תלוי במילים.