นี่คือความท้าทายที่ต้องเผชิญกับ VR มือถือ

วิดีโอ: ตำรวจนิวยอร์คใช้แว่นตา VR จำลองสถานการณ์เหมือนจริงสุดๆ ขณะทำการฝึก

เนื้อหา

งบประมาณพลังงาน จำกัด
แบนด์วิดธ์และความละเอียดสูง
เวลาแฝงและแผงจอแสดงผลต่ำ
เสียงและเซ็นเซอร์
นักพัฒนาและซอฟต์แวร์
สรุป

ในที่สุดเราก็ดำน้ำลึกเข้าไปในการปฏิวัติอย่างที่บางคนอาจวางไว้กับผลิตภัณฑ์ฮาร์ดแวร์และซอฟต์แวร์มากมายในตลาดและทรัพยากรที่ไหลเข้ามาเพื่อกระตุ้นให้เกิดนวัตกรรม อย่างไรก็ตามเราใช้เวลานานกว่าหนึ่งปีนับตั้งแต่มีการเปิดตัวผลิตภัณฑ์หลักในพื้นที่นี้และเรายังคงรอแอปพลิเคชันนักฆ่าดังกล่าวเพื่อทำให้ความเป็นจริงเสมือนเป็นความสำเร็จหลัก ในขณะที่เรารอการพัฒนาใหม่ยังคงทำให้ความเป็นจริงเสมือนเป็นตัวเลือกในเชิงพาณิชย์ที่มีศักยภาพมากขึ้น แต่ยังมีอุปสรรคทางเทคนิคจำนวนมากที่ต้องเอาชนะโดยเฉพาะในพื้นที่ VR มือถือ

งบประมาณพลังงาน จำกัด

ความท้าทายที่ชัดเจนและเป็นที่กล่าวถึงมากที่สุดที่เผชิญกับแอปพลิเคชั่นเสมือนจริงบนมือถือคืองบประมาณด้านพลังงานที่ จำกัด และข้อ จำกัด ทางความร้อนเมื่อเปรียบเทียบกับพีซีแบบตั้งโต๊ะ การรันแอปพลิเคชั่นกราฟิกที่เข้มข้นจากแบตเตอรี่หมายความว่าต้องใช้ส่วนประกอบพลังงานต่ำและการใช้พลังงานอย่างมีประสิทธิภาพเพื่อรักษาอายุการใช้งานของแบตเตอรี่ นอกจากนี้ความใกล้ชิดของฮาร์ดแวร์การประมวลผลกับผู้สวมใส่หมายความว่างบประมาณความร้อนจะไม่สามารถผลักดันให้สูงขึ้นได้ สำหรับการเปรียบเทียบโดยทั่วไปมือถือจะทำงานภายใต้ขีด จำกัด วัตต์ต่ำกว่า 4 ในขณะที่ VR VR บนเดสก์ท็อปสามารถกินไฟ 150 วัตต์ขึ้นไปได้อย่างง่ายดาย

เป็นที่ยอมรับกันอย่างกว้างขวางว่า VR มือถือจะไม่จับคู่ฮาร์ดแวร์เดสก์ท็อปกับพลังงานดิบ แต่นั่นไม่ได้หมายความว่าผู้บริโภคไม่ต้องการประสบการณ์ 3D ที่ดื่มด่ำด้วยความคมชัดและอัตราเฟรมสูง

เป็นที่ยอมรับกันอย่างกว้างขวางว่า VR มือถือจะไม่จับคู่ฮาร์ดแวร์เดสก์ท็อปกับพลังงานดิบ แต่นั่นไม่ได้หมายความว่าผู้บริโภคจะไม่ต้องการประสบการณ์ 3D ที่ดื่มด่ำด้วยความคมชัดและอัตราเฟรมสูงแม้จะมีพลังงาน จำกัด มากขึ้น งบ ระหว่างการรับชมวิดีโอ 3D การสำรวจสถานที่ที่สร้างขึ้นแบบ 360 องศาและแม้กระทั่งการเล่นเกมยังมีกรณีการใช้งานมากมายที่เหมาะกับมือถือ VR

มองย้อนกลับไปที่ SoC มือถือทั่วไปของคุณสิ่งนี้จะสร้างปัญหาเพิ่มเติมที่มักไม่ค่อยได้รับการชื่นชม แม้ว่า SoC มือถือสามารถบรรจุในการจัดเรียงซีพียู octa-core ที่เหมาะสมและพลัง GPU ที่โดดเด่นบางอย่าง แต่ก็ไม่สามารถเรียกใช้ชิปเหล่านี้ได้อย่างเต็มที่เนื่องจากการใช้พลังงานและข้อ จำกัด ทางความร้อนที่กล่าวถึงก่อนหน้านี้ ในความเป็นจริงซีพียูในอินสแตนซ์ VR มือถือต้องการใช้เวลาน้อยที่สุดเท่าที่จะเป็นไปได้โดยปล่อยให้ GPU กินปริมาณพลังงานที่ จำกัด สิ่งนี้ไม่เพียง แต่จะ จำกัด ทรัพยากรที่มีสำหรับเกมตรรกะ, การคำนวณเชิงฟิสิกส์และแม้แต่กระบวนการพื้นหลังมือถือ แต่ยังทำให้ภาระงาน VR ที่จำเป็นเช่นการวาดการโทรสำหรับการเรนเดอร์สโคป

อุตสาหกรรมกำลังทำงานกับโซลูชันนี้อยู่แล้วซึ่งไม่ได้ใช้กับมือถือ การเรนเดอร์แบบมัลติวิวสนับสนุนใน OpenGL 3.0 และ ES 3.0 และพัฒนาโดยผู้สนับสนุนจาก Oculus, Qualcomm, Nvidia, Google, Epic, ARM และ Sony Multiview ช่วยให้สามารถเรนเดอร์สโคปได้ด้วยการเรียกเพียงครั้งเดียวแทนที่จะเป็นหนึ่งจุดสำหรับแต่ละจุดรับชมลดความต้องการของซีพียูและลดการทำงานของจุดสุดยอดของ GPU ด้วยเช่นกัน เทคโนโลยีนี้สามารถปรับปรุงประสิทธิภาพได้ระหว่าง 40 และ 50 เปอร์เซ็นต์ ในพื้นที่อุปกรณ์เคลื่อนที่ Multiview ได้รับการสนับสนุนโดยอุปกรณ์ ARM Mali และ Qualcomm Adreno จำนวนหนึ่งแล้ว

อีกนวัตกรรมที่คาดว่าจะปรากฏในผลิตภัณฑ์ VR มือถือที่กำลังจะจัดแสดง ใช้ร่วมกับเทคโนโลยีการติดตามด้วยสายตาการเรนเดอร์แบบ foveated จะทำให้โหลดบน GPU สว่างขึ้นโดยการเรนเดอร์จุดโฟกัสที่แน่นอนของผู้ใช้ที่ความละเอียดเต็มรูปแบบและลดความละเอียดของวัตถุในสายตารอบข้าง การเสริมระบบการมองเห็นของมนุษย์เป็นอย่างดีและสามารถลดภาระของ GPU ลงได้อย่างมากดังนั้นจึงช่วยประหยัดพลังงานและ / หรือเพิ่มพลังงานมากขึ้นสำหรับงาน CPU หรือ GPU อื่น ๆ

แบนด์วิดธ์และความละเอียดสูง

ในขณะที่กำลังประมวลผลมี จำกัด ในสถานการณ์ VR มือถือแพลตฟอร์มยังคงยึดถือข้อกำหนดเช่นเดียวกับแพลตฟอร์มเสมือนจริงอื่น ๆ รวมถึงความต้องการเวลาแฝงต่ำและแผงจอแสดงผลความละเอียดสูง แม้แต่ผู้ที่เคยดูการแสดง VR ที่มีความละเอียด QHD (2560 x 1440) หรือความละเอียด 1080 × 1200 หูฟังของ Rift หูฟังต่อตาก็อาจได้รับความสับสนเล็กน้อยจากความคมชัดของภาพ การใช้นามแฝงเป็นปัญหาอย่างยิ่งเนื่องจากดวงตาของเราอยู่ใกล้กับหน้าจอมากโดยมีขอบที่ดูหยาบหรือขรุขระเป็นพิเศษระหว่างการเคลื่อนไหว

วิธีการแก้ปัญหากำลังดุร้ายคือการเพิ่มความละเอียดการแสดงผลด้วย 4K เป็นความก้าวหน้าทางตรรกะต่อไป อย่างไรก็ตามอุปกรณ์จำเป็นต้องรักษาอัตราการรีเฟรชที่สูงโดยไม่คำนึงถึงความละเอียด 60Hz ถือว่าต่ำสุด แต่ 90 หรือ 120 เฮิร์ตเป็นที่นิยมมากกว่า สิ่งนี้ทำให้เกิดภาระมากมายในหน่วยความจำระบบด้วยอุปกรณ์ใดก็ได้มากกว่าอุปกรณ์ของวันนี้สองถึงแปดเท่า แบนด์วิดท์หน่วยความจำนั้นมีข้อ จำกัด มากขึ้นใน VR มือถือมากกว่าที่ใช้ในผลิตภัณฑ์เดสก์ท็อปซึ่งใช้หน่วยความจำกราฟิกเฉพาะที่เร็วกว่าแทนที่จะเป็นพูลแบบแบ่งใช้

โซลูชั่นที่เป็นไปได้ในการประหยัดแบนด์วิดธ์กราฟิกรวมถึงการใช้เทคโนโลยีการบีบอัดเช่น ARM และมาตรฐาน Adaptive Scalable Texture Compression (ASTC) ของ AMD หรือรูปแบบการบีบอัดของ Texture Ericsson ที่ไม่สูญเสียทั้งสองอย่างนี้เป็นส่วนขยายอย่างเป็นทางการของ OpenGL และ OpenGL ES ASTC ยังรองรับฮาร์ดแวร์ใน Mali GPUs ล่าสุดของ ARM, Kepler และ Maxwell Tegra SoC ของ Nvidia และ GPU แบบบูรณาการล่าสุดของ Intel และสามารถประหยัดแบนด์วิดธ์ได้มากกว่า 50 เปอร์เซ็นต์ในบางสถานการณ์เมื่อเทียบกับการใช้พื้นผิวที่ไม่บีบอัด

การใช้การบีบอัดพื้นผิวสามารถลดแบนด์วิดท์เวลาแฝงและหน่วยความจำที่จำเป็นสำหรับแอปพลิเคชัน 3D ได้อย่างมาก ที่มา - ARM

เทคนิคอื่น ๆ ก็สามารถนำไปใช้ได้เช่นกันการใช้ tessellation สามารถสร้างรูปทรงเรขาคณิตที่มีรายละเอียดมากขึ้นจากวัตถุที่ง่ายกว่าแม้ว่าจะต้องใช้ทรัพยากร GPU อื่น ๆ Rendering และ Forward Pixel Kill ที่เลื่อนออกไปสามารถหลีกเลี่ยงการแสดงผลพิกเซลที่ถูกบดบังในขณะที่ Binning / Tiling สามารถใช้ในการแบ่งภาพเป็นกริดหรือไทล์ขนาดเล็กที่แต่ละเรนเดอร์แยกต่างหากซึ่งทั้งหมดนี้สามารถประหยัดแบนด์วิดท์ได้

นักพัฒนาสามารถเสียสละคุณภาพของภาพเพื่อลดความเครียดของแบนด์วิดท์ของระบบ ความหนาแน่นของรูปทรงเรขาคณิตสามารถลดลงได้หรือใช้การคัดสรรที่เข้มงวดมากขึ้นเพื่อลดภาระและความละเอียดของข้อมูลจุดสุดยอดสามารถลดลงเหลือ 16 บิตจากความแม่นยำ 32 บิตที่ใช้แบบดั้งเดิม เทคนิคเหล่านี้จำนวนมากถูกใช้ไปแล้วในแพ็คเกจมือถือที่หลากหลายและช่วยให้ลดแบนด์วิดท์ลงได้

ไม่เพียง แต่หน่วยความจำจะเป็นข้อ จำกัด ที่สำคัญในพื้นที่ VR มือถือเท่านั้น แต่ยังเป็นผู้ใช้พลังงานที่ค่อนข้างใหญ่เช่นกันซึ่งมักเท่ากับการใช้ CPU หรือ GPU ด้วยการประหยัดแบนด์วิดธ์หน่วยความจำและการใช้งานโซลูชั่นเสมือนจริงแบบพกพาควรดูอายุการใช้งานแบตเตอรี่ที่ยาวนานขึ้น

เวลาแฝงและแผงจอแสดงผลต่ำ

เมื่อพูดถึงปัญหาความล่าช้าดังนั้นเราจึงเห็นเพียงชุดหูฟัง VR ที่มีหน้าจอแสดงผล OLED และส่วนใหญ่เกิดจากการสลับพิกเซลอย่างรวดเร็วภายในเสี้ยววินาที ในอดีต LCD มีความเกี่ยวข้องกับปัญหา ghosting ด้วยอัตราการรีเฟรชที่รวดเร็วมากทำให้ VR ค่อนข้างไม่เหมาะสม อย่างไรก็ตามแผงจอแอลซีดีความละเอียดสูงยังคงถูกกว่าการผลิตแบบ OLED เทียบเท่าดังนั้นการเปลี่ยนมาใช้เทคโนโลยีนี้อาจช่วยให้ราคาของชุดหูฟัง VR ลดลงในระดับที่เหมาะสมยิ่งขึ้น

Motion to photon latency ควรต่ำกว่า 20ms ซึ่งรวมถึงการลงทะเบียนและการเคลื่อนไหวการประมวลผลกราฟิกและเสียงและการปรับปรุงการแสดงผล

จอแสดงผลเป็นส่วนสำคัญอย่างยิ่งในเวลาแฝงโดยรวมของระบบเสมือนจริงซึ่งมักจะสร้างความแตกต่างระหว่างประสบการณ์ที่ไร้ซึ่งความรู้สึกและประสบการณ์ย่อย ในระบบในอุดมคติเวลาในการตอบสนองต่อการเคลื่อนที่ของโฟตอนถึงระยะเวลาระหว่างการเคลื่อนศีรษะและการตอบสนองของจอภาพควรน้อยกว่า 20 มิลลิวินาที เห็นได้ชัดว่าจอแสดงผล 50ms ไม่ดีที่นี่ โดยทั่วไปแล้วแผงควบคุมจะต้องมีขนาดไม่เกิน 5 มิลลิวินาทีเพื่อรองรับเซ็นเซอร์และเวลาในการประมวลผล

ขณะนี้มีการแลกเปลี่ยนประสิทธิภาพค่าใช้จ่ายที่โปรดปราน OLED แต่สิ่งนี้อาจเปลี่ยนแปลงได้ในไม่ช้า หน้าจอ LCD ที่รองรับอัตราการรีเฟรชที่สูงขึ้นและเวลาตอบสนองขาวดำต่ำซึ่งใช้เทคนิคการตัดขอบเช่นไฟแบ็คไลท์ที่กระพริบสามารถทำให้พอดีกับบิลได้ จอแสดงผลของญี่ปุ่นแสดงให้เห็นเพียงแค่แผงเมื่อปีที่แล้วและเราอาจเห็นผู้ผลิตรายอื่นประกาศเทคโนโลยีที่คล้ายกันเช่นกัน

เสียงและเซ็นเซอร์

ในขณะที่หัวข้อความเป็นจริงเสมือนทั่วไปส่วนใหญ่หมุนรอบคุณภาพของภาพ VR ที่สมจริงยังต้องการความละเอียดสูงเสียง 3 มิติที่มีความแม่นยำเชิงพื้นที่และเซ็นเซอร์เวลาแฝงต่ำ ในขอบเขตของมือถือสิ่งนี้จะต้องทำภายในงบประมาณพลังงานที่ จำกัด เช่นเดียวกับที่มีผลต่อ CPU, GPU และหน่วยความจำซึ่งนำเสนอความท้าทายต่อไป

เราได้สัมผัสกับปัญหาเวลาในการตอบสนองต่อเซ็นเซอร์ก่อนหน้านี้ซึ่งจะต้องลงทะเบียนและประมวลผลการเคลื่อนไหวโดยเป็นส่วนหนึ่งของขีด จำกัด เวลาแฝงการเคลื่อนไหวถึงโฟตอน เมื่อเราพิจารณาว่าชุดหูฟัง VR ใช้การเคลื่อนไหว 6 องศา - การหมุนและการหันเหในแกน X, Y และ Z - รวมถึงเทคโนโลยีใหม่ ๆ เช่นการติดตามสายตามีข้อมูลคงที่ในการรวบรวมและประมวลผลจำนวนน้อยมาก ความแอบแฝง

โซลูชันที่ช่วยให้เวลาในการตอบสนองต่ำที่สุดเท่าที่จะเป็นไปได้ต้องใช้วิธีการแบบครบวงจรด้วยฮาร์ดแวร์และซอฟต์แวร์ที่สามารถทำงานเหล่านี้ได้ในแบบคู่ขนาน โชคดีสำหรับอุปกรณ์มือถือการใช้โปรเซสเซอร์เซนเซอร์พลังงานต่ำโดยเฉพาะและเทคโนโลยีเปิดตลอดเวลาเป็นเรื่องธรรมดามากและใช้พลังงานต่ำ

สำหรับเสียงตำแหน่ง 3D เป็นเทคนิคที่ใช้ในการเล่นเกมมานานแล้ว แต่การใช้ฟังก์ชั่นการถ่ายโอนข้อมูลที่เกี่ยวข้องกับหัว (HRTF) และการประมวลผลเสียงสะท้อนแบบ Convolution ซึ่งจำเป็นสำหรับการวางตำแหน่งแหล่งกำเนิดเสียงที่สมจริง แม้ว่าสิ่งเหล่านี้สามารถทำได้บน CPU ตัวประมวลผลสัญญาณดิจิตอล (DSD) โดยเฉพาะสามารถดำเนินการกระบวนการเหล่านี้ได้อย่างมีประสิทธิภาพมากขึ้นทั้งในแง่ของเวลาการประมวลผลและพลังงาน

การรวมคุณสมบัติเหล่านี้เข้ากับข้อกำหนดด้านกราฟิกและการแสดงผลที่เราได้กล่าวไปแล้วนั้นเป็นที่ชัดเจนว่าการใช้โปรเซสเซอร์พิเศษหลายตัวเป็นวิธีที่มีประสิทธิภาพที่สุดในการตอบสนองความต้องการเหล่านี้ เราเห็นว่า Qualcomm ได้ใช้ประโยชน์จากความสามารถในการคำนวณที่หลากหลายของแพลตฟอร์มเรือธงและ Snapdragon ระดับกลางรุ่นล่าสุดซึ่งรวมหน่วยประมวลผลที่หลากหลายไว้ในแพ็คเกจเดียวที่มีความสามารถที่สอดคล้องกับความต้องการ VR มือถือเหล่านี้มากมาย เราน่าจะเห็นประเภทของพลังแพ็คเกจในผลิตภัณฑ์ VR มือถือจำนวนหนึ่งรวมถึงฮาร์ดแวร์แบบพกพาแบบสแตนด์อโลน

นักพัฒนาและซอฟต์แวร์

ในที่สุดความก้าวหน้าของฮาร์ดแวร์เหล่านี้ไม่ดีมากหากปราศจากชุดซอฟต์แวร์เอ็นจิ้นเกมและ SDK เพื่อสนับสนุนนักพัฒนา ท้ายที่สุดเราไม่สามารถให้นักพัฒนาซอฟต์แวร์ทุกคนสร้างนวัตกรรมใหม่สำหรับทุกแอปพลิเคชัน การรักษาต้นทุนการพัฒนาให้อยู่ในระดับต่ำและเร็วที่สุดคือกุญแจสำคัญหากเราจะเห็นแอปพลิเคชันที่หลากหลาย

SDK โดยเฉพาะมีความจำเป็นสำหรับการใช้งานการประมวลผล VR ที่สำคัญเช่น Asynchronous Timewarp, การแก้ไขการบิดเบือนเลนส์และการเรนเดอร์สโคป ไม่ต้องพูดถึงการจัดการพลังงานความร้อนและการประมวลผลในการตั้งค่าฮาร์ดแวร์ที่ต่างกัน

โชคดีที่ผู้ผลิตแพลตฟอร์มฮาร์ดแวร์รายใหญ่เสนอ SDK ให้กับนักพัฒนาแม้ว่าตลาดจะค่อนข้างกระจัดกระจายทำให้ขาดการสนับสนุนข้ามแพลตฟอร์ม ตัวอย่างเช่น Google มี VR SDK สำหรับ Android และ SDK เฉพาะสำหรับเอ็นจิ้น Unity ที่ได้รับความนิยมในขณะที่ Oculus มี Mobile SDK ในตัวร่วมกับ Samsung สำหรับ Gear VR ที่สำคัญกลุ่ม Khronos เพิ่งเปิดตัวความคิดริเริ่ม OpenXR ซึ่งมีวัตถุประสงค์เพื่อให้ API เพื่อครอบคลุมแพลตฟอร์มที่สำคัญทั้งหมดทั้งอุปกรณ์และระดับแอปพลิเคชันเลเยอร์เพื่ออำนวยความสะดวกในการพัฒนาข้ามแพลตฟอร์มที่ง่ายขึ้น OpenXR สามารถเห็นการสนับสนุนในอุปกรณ์เสมือนจริงเครื่องแรกก่อนปี 2018

สรุป

แม้จะมีปัญหาบางอย่างเทคโนโลยีอยู่ในระหว่างการพัฒนาและในระดับหนึ่งแล้วที่ทำให้ความเป็นจริงเสมือนมือถือสามารถใช้งานได้กับแอพพลิเคชั่นจำนวนมาก Mobile VR ยังมีสิทธิประโยชน์มากมายที่ไม่สามารถนำไปใช้กับการเทียบเท่าบนเดสก์ท็อปได้ซึ่งจะทำให้แพลตฟอร์มนี้มีค่าต่อการลงทุนและวางอุบายอย่างต่อเนื่อง ปัจจัยในการพกพาทำให้ VR บนมือถือเป็นแพลตฟอร์มที่น่าสนใจสำหรับประสบการณ์ด้านมัลติมีเดียและแม้แต่การเล่นเกมที่มีน้ำหนักเบาโดยไม่ต้องใช้สายเชื่อมต่อกับพีซีที่ทรงพลังกว่า

นอกจากนี้จำนวนของอุปกรณ์มือถือในตลาดที่มีความสามารถเสมือนจริงมากขึ้นทำให้เป็นแพลตฟอร์มทางเลือกสำหรับการเข้าถึงกลุ่มเป้าหมายที่ใหญ่ที่สุด หากความจริงเสมือนเป็นแพลตฟอร์มหลักที่ต้องการผู้ใช้และมือถือเป็นฐานผู้ใช้ที่ใหญ่ที่สุดในการแตะ