เนื้อหา
Hype สำหรับความเป็นจริงเสมือนได้ตายลงอย่างแน่นอนในช่วงสองสามปีที่ผ่านมาเนื่องจากการรวมกันของฮาร์ดแวร์ราคาแพงประสิทธิภาพพอดูและอาการเมารถและการขาดเนื้อหาของผู้ใช้ ขณะนี้อุตสาหกรรมกำลังติดอยู่ในสถานการณ์ไก่กับไข่ซึ่งผู้บริโภคขาดการสกัดกั้นการลงทุนในเนื้อหาระดับสูง ฮาร์ดแวร์ VR ที่ทรงพลังและคุ้มค่ากว่าสำหรับมวลชนจะต้องใช้เพื่อทำลายการหยุดชะงัก
Arm กำลังมองหาที่จะเอาชนะอุปสรรคทางเทคโนโลยีเหล่านี้ด้วยโปรเซสเซอร์จอแสดงผล (DPU) ตัวแรกที่ออกแบบมาเฉพาะสำหรับ VR: Mali-D77 โดยสรุป Mali-D77 จะลดภาระการประมวลผล VR ทั่วไปจาก GPU ช่วยให้ประหยัดทรัพยากรสำหรับอัตราเฟรมที่สูงขึ้นในขณะเดียวกันก็ช่วยลดอาการเมารถด้วย
Inside the Arm Mali-D77
Mali-D77 ส่วนใหญ่มีพื้นฐานมาจาก Mali-D71 ในปี 2560 สำหรับสมาร์ทโฟนเรือธงและแอพพลิเคชั่นระดับสูงอื่น ๆ มีตัวถอดรหัสการบีบอัดเลเยอร์สเกลรองรับ HDR และหน่วยการจัดการสีเดียวกัน อย่างไรก็ตามการออกแบบใหม่ได้รับการปรับให้รองรับความละเอียด 3K ที่ 120fps โดยรองรับความละเอียด 4K ที่สูงถึง 90fps
การเปลี่ยนแปลงครั้งสำคัญเกิดขึ้นในรูปของหน่วยเร่งฮาร์ดแวร์ใหม่สองแบรนด์สำหรับแอปพลิเคชั่น VR Mali-D77 รองรับการแก้ไขเลนส์และ Timewarp แบบอะซิงโครนัสในฮาร์ดแวร์แทนที่จะเรียกใช้อัลกอริทึมเหล่านี้บน GPU Arm ประเมินว่าสิ่งนี้สามารถเพิ่มทรัพยากรของ GPU ได้ประมาณ 15% ซึ่งสามารถเพิ่มอัตราเฟรมได้ การย้ายโหลดไปยัง DPU นี้ยังช่วยประหยัดแบนด์วิดท์ 40 เปอร์เซ็นต์และพลังงาน 180mW ต่อเลเยอร์ VR ดี
จำเป็นต้องมีการแก้ไขเลนส์ในชุดหูฟัง VR เพื่อชดเชยความโค้งแสงของเลนส์ของชุดหูฟัง Barrel Distortion ถูกนำไปใช้กับแต่ละเฟรมที่เรนเดอร์เพื่อชดเชยเอฟเฟกต์ Pincushion Distortion ของเลนส์ คิดว่านี่เป็นการชดเชยที่มากเกินไปหรือ "บิดเบือนความผิดกลับ" เพื่อให้ความผิดเพี้ยนของเลนส์สิ้นสุดลงด้วยการแสดงภาพที่ถูกต้อง ตามเนื้อผ้าสิ่งนี้กระทำบน GPU โดยเพิ่มรอบและเวลาเพิ่มเติม Mali-D77 ทำสิ่งนี้ได้ทั้งหมดใน DPU
นอกจากนี้ Mali-D77 ยังทำการแก้ไขความคลาดสีโดยใช้วิธีการบิดเบือนย้อนกลับที่คล้ายกัน เมื่อใช้สิ่งนี้สีของภาพจะแสดงอย่างถูกต้องทั่วทั้งเลนส์รวมถึงในมุมที่สามารถแยกสีผิดเพี้ยนได้
Timewarp แบบอะซิงโครนัสคืออะไร
การแก้ไขเลนส์ค่อนข้างอธิบายตนเอง แต่ Asynchronous Timewarp มีส่วนเกี่ยวข้องมากกว่าเล็กน้อย ที่นี่ Arm กำลังใช้ตัวประมวลผลการแสดงผลเพื่อหมุน, เอียงและภาพวาร์ปเพื่อชดเชยการเคลื่อนไหวของผู้สวมใส่ในขณะที่ลดการใช้ GPU หรือเวลาแฝงในการแสดงผลอื่น ๆ
ด้วยฮาร์ดแวร์รุ่นปัจจุบัน, X, Y, การติดตามการเคลื่อนไหวของแกน Z ได้รับการปรับปรุงให้สอดคล้องกับ GPU เนื่องจาก GPU ต้องแสดงการเปลี่ยนแปลงในแต่ละครั้งที่คุณย้าย ด้วย Asynchronous Timewarp ทั้งสองจะไม่ได้รับการอัพเดตพร้อมกันอีกต่อไป คุณสามารถย้ายหัวของคุณไปมาระหว่างการอัพเดตเฟรม GPU และ Mali-D77 สามารถบิดเฟรมปัจจุบันเพื่อให้เข้ากับการเคลื่อนไหวของหัวของคุณ
นี่เป็นเอฟเฟ็กต์แบบละเอียดเนื่องจากมันจะอยู่ได้เพียงเสี้ยววินาทีในระหว่างเฟรมที่เรนเดอร์และไม่กำจัดความต้องการในการเรนเดอร์เฟรมอย่างรวดเร็ว อย่างไรก็ตามมันช่วยเพิ่มความลื่นไหลและความลื่นไหลของการเคลื่อนไหวและการเคลื่อนไหวได้อย่างมากเนื่องจากการอัพเดตสามารถเกิดขึ้นได้บ่อยกว่าอัตราเฟรม GPU การตัดการเชื่อมต่อระหว่างร่างกายของคุณเคลื่อนไหวและเห็นการปรับปรุงด้วยภาพเป็นสาเหตุหลักของอาการเมารถใน VR ดังนั้น Mali-D77 สามารถช่วยคุณได้มากในเรื่องนี้
ข้อมูลการเคลื่อนไหวแกน X, Y, Z จะถูกป้อนโดยตรงไปยัง Mali-D77 จากซีพียูโดยข้ามขั้นตอน GPU ทั้งหมด นี่เป็นวิธีที่แตกต่างกันมากในการทำสิ่งต่าง ๆ และต้องการให้นักพัฒนาใช้ชุดเครื่องมือและเทคนิคการพัฒนาชุดใหม่ นี่เป็นอุปสรรค์ที่ยิ่งใหญ่ที่สุดของ D77 โชคดีที่วิศวกรของ Arm ทำงานอย่างใกล้ชิดกับความคิดริเริ่มเช่น OpenXR ดังนั้นเราสามารถเห็นการประกาศ API สำหรับการสนับสนุนนักพัฒนาที่ง่ายขึ้นในอนาคต
โดยรวมแล้ว Arm Mali-D77 เป็นความก้าวหน้าที่ชาญฉลาดและมีเหตุผลของแนวคิดการคำนวณที่แตกต่างกันเพื่อช่วยแก้ปัญหาฮาร์ดแวร์ที่ใหญ่ที่สุดในโลกเสมือนจริง ยังคงมีอุปสรรคอื่น ๆ ในการสื่อสารไร้สายการติดตามและต้นทุนของ VR ที่ต้องแก้ไขก่อนที่จะนำการพิจารณาหลักมาใช้ใหม่ แต่ Mali-D77 ช่วยแก้ไขปัญหาด้านประสิทธิภาพบางอย่าง
