เนื้อหา
คำบรรยายภาพสดเป็นหนึ่งในคุณสมบัติ Android ที่ยอดเยี่ยมที่สุดโดยใช้การเรียนรู้ของอุปกรณ์บนอุปกรณ์เพื่อสร้างคำบรรยายภาพสำหรับวิดีโอในท้องถิ่นและเว็บคลิป
Google ได้เผยแพร่โพสต์บล็อกโดยมีรายละเอียดอย่างชัดเจนว่าคุณสมบัติที่ดีนี้ทำงานอย่างไรและมันประกอบด้วยโมเดลการเรียนรู้ของเครื่องบนอุปกรณ์สามแบบสำหรับผู้เริ่มต้น
มีโมเดลการถ่ายโอนลำดับของเครือข่ายประสาทที่เกิดขึ้นอีก (RNN-T) สำหรับการรู้จำเสียงด้วยตัวเอง แต่ Google ก็ใช้เครือข่ายประสาทที่เกิดขึ้นอีกในการทำนายเครื่องหมายวรรคตอน
รูปแบบการเรียนรู้ของอุปกรณ์บนอุปกรณ์เครื่องที่สามคือเครือข่ายประสาทเทียม (CNN) สำหรับกิจกรรมเสียงเช่นการร้องเจี๊ยก ๆ นกการตบมือผู้คนและดนตรี Google กล่าวว่ารูปแบบการเรียนรู้ของเครื่องที่สามนี้ได้มาจากการทำงานในแอปการช่วยสำหรับการเข้าถึงการถ่ายทอดสดซึ่งสามารถคัดลอกคำพูดและเหตุการณ์เสียง
ลดผลกระทบของคำบรรยายภาพสด
บริษัท กล่าวว่ามีมาตรการหลายประการเพื่อลดการใช้แบตเตอรี่และความต้องการด้านประสิทธิภาพของ Live Captionสำหรับหนึ่งโปรแกรมการรู้จำเสียงแบบเต็มอัตโนมัติ (ASR) จะทำงานเฉพาะเมื่อตรวจพบคำพูดจริงเท่านั้นซึ่งตรงกันข้ามกับการทำงานในพื้นหลังอย่างต่อเนื่อง
“ ตัวอย่างเช่นเมื่อตรวจพบเพลงและไม่มีคำพูดอยู่ในกระแสข้อมูลเสียงฉลากจะปรากฏบนหน้าจอและรุ่น ASR จะถูกยกเลิกการโหลด รุ่น ASR นั้นจะถูกโหลดกลับเข้าไปในหน่วยความจำก็ต่อเมื่อมีการพูดอยู่ในกระแสข้อมูลเสียงอีกครั้ง” Google อธิบายในโพสต์บล็อก
Google ยังใช้เทคนิคต่าง ๆ เช่นการตัดการเชื่อมต่อระบบประสาท (ลดขนาดของรูปแบบคำพูด) ลดการใช้พลังงานลง 50% และทำให้คำบรรยายสดสามารถทำงานได้อย่างต่อเนื่อง
Google อธิบายว่าผลลัพธ์การรู้จำเสียงจะได้รับการอัปเดตสองสามครั้งต่อวินาทีเมื่อคำบรรยายประกอบเกิดขึ้น แต่การทำนายเครื่องหมายวรรคตอนจะแตกต่างกัน ยักษ์ค้นหาบอกว่ามันให้การคาดคะเนของเครื่องหมายวรรคตอน“ ท้ายข้อความจากประโยคที่ได้รับการยอมรับล่าสุด” เพื่อลดความต้องการทรัพยากร
ขณะนี้มีคำบรรยายสดในซีรีย์ Google Pixel 4 และ Google แจ้งว่าจะให้บริการ“ เร็ว ๆ นี้” บนซีรีย์ Pixel 3 และอุปกรณ์อื่น ๆ บริษัท กล่าวว่ายังทำงานกับการสนับสนุนภาษาอื่น ๆ และการสนับสนุนเนื้อหาลำโพงที่ดีขึ้น
