תוֹכֶן

• צמצום ההשפעה של כיתוב חי

כיתוב Live הוא אחד מתכונות האנדרואיד המגניבות ביותר עד כה, באמצעות למידת מכונה במכשירים כדי ליצור כותרות לסרטונים מקומיים ולקליפים באינטרנט.

גוגל פרסמה פוסט בבלוג ובו פירוט בדיוק כיצד פועלת תכונה חמישית זו, והיא למעשה מורכבת משלושה דגמי למידת מכונות במכשירים, בתור התחלה.

יש מודל הולכת רצף עצבי חוזר (RNN-T) מודל לזיהוי דיבור עצמו, אך גוגל משתמשת גם ברשת עצבית חוזרת כדי לחזות פיסוק.

המודל השלישי של מכשיר הלמידה למכונה הוא רשת עצבית מפותלת (CNN) לאירועי סאונד, כמו ציוץ ציפורים, אנשים מוחאים כפיים ומוזיקה. גוגל טוענת כי מודל הלמידה המכונה השלישי הזה נגזר מעבודתו באפליקציית הנגישות של Live Transcribe, המסוגלת לתמלל אירועי דיבור וקול.

צמצום ההשפעה של כיתוב חי

החברה טוענת כי ננקטו מספר צעדים כדי להפחית את צריכת הסוללה של Live Caption ואת דרישות הביצועים.ראשית, מנוע זיהוי הדיבור האוטומטי המלא (ASR) פועל רק כאשר מתגלים למעשה דיבור, בניגוד לריצה מתמדת ברקע.

"לדוגמא, כשמזהים מוזיקה והדיבור אינו קיים בזרם האודיו, התווית תופיע על המסך, ודגם ה- ASR ייפרק. מודל ASR נטען רק בזיכרון כאשר הדיבור נמצא שוב בזרם האודיו, "מסבירה גוגל בפוסט הבלוג שלה.

גוגל השתמשה גם בטכניקות כמו גיזום חיבור עצבי (קיצוץ גודל מודל הדיבור), הפחתת צריכת החשמל ב- 50% ומאפשרת Live Caption לפעול ברציפות.

גוגל מסבירה כי תוצאות זיהוי הדיבור מתעדכנות מספר פעמים בכל שנייה כשנוצר הכיתוב, אך חיזוי הפיסוק שונה. ענקית החיפוש טוענת שהיא מספקת חיזוי פיסוק "על זנב הטקסט מהמשפט האחרון שהוכר לאחרונה" על מנת להפחית את דרישות המשאבים.

כיתוב Live זמין כעת בסדרת ה- Pixel 4 של גוגל, וגוגל טוענת שהוא יהיה זמין "בקרוב" בסדרת Pixel 3 ובמכשירים אחרים. החברה טוענת שהיא עובדת גם על תמיכה בשפות אחרות ותמיכה טובה יותר בתכנים מרובי דוברים.