เชื่อว่าหลาย ๆ คนน่าจะเคยตัดต่อรูปภาพจากบนพื้นหลังหนึ่ง ไปยังอีกพื้นหลังหนึ่งแบบง่าย ๆ ด้วยโปรแกรมตัดต่อรูปภาพอย่าง Adobe Photoshop หรือ GIMP ที่เรารู้จักกันดีอยู่แล้ว แต่ว่าภาพที่ได้ออกมานั้น อาจจะดูลอย ๆ ผิดกับการไปถ่ายในสถานที่จริง ๆ ซึ่งหนึ่งในองค์ประกอบที่มีส่วนสำคัญนั่นก็คือแสงของภาพนั่นเอง ที่จะมีการเปลี่ยนไปตามแสงแวดล้อม ทำให้การตัดต่อแบบปกตินั้น จะให้ความเสมือนจริงได้ยาก

Google ได้ผุดงานวิจัยใหม่ขึ้นมาที่ชื่อว่า Total Relighting งานวิจัยสำหรับการปรับแสงในรูปภาพในการตัดต่อจากพื้นหลังหนึ่งไปยังอีกพื้นหลังหนึ่งให้มีความเสมือนจริงมากขึ้น โดยจะแบ่งเป็นหลัก ๆ ใน 2 ขั้นตอน การตัดภาพจากพื้นหลังเดิม และปรับแสงเพื่อนำไปวางบนภาพใหม่

การตัดภาพคนออกจากพื้นหลังจะมีการใช้โมดูลที่ชื่อว่า Human Matting ในการหารูปตัวคนด้วยอัลกอริทึมต่าง ๆ เพื่อตัดภาพออกมาก่อน

ต่อมาจะมีการนำไปปรับแสงให้เข้ากับพื้นหลังที่ต้องการเปลี่ยน โดยจะใช้โมดูลที่ชื่อว่า Relighting ที่มีโมเดลต่าง ๆ อยู่ภายใต้โมดูลนี้อยู่หลายตัว ที่จะมีส่วนสำคัญในการปรับแสงด้วยเช่นกัน ได้แก่ Geometry Net, Albedo Net, และ Shading Net

โดย Geometry Net จะทำหน้าที่วัดค่าต่าง ๆ เช่นความลึกเพื่อสร้างเป็นโมเดลรูปคนขึ้นมา จากนั้น Albedo Net จะทำการวัดค่าแสงที่กระทำต่อพื้นผิวต่าง ๆ และสุดท้ายใน Shading Net จะมีการคำนวณค่าแสงของพื้นหลังใหม่ ที่จะกระทำต่อพื้นผิวของตัวคน ในสถานการณ์ต่าง ๆ เพื่อรวมผลลัพธ์ที่ได้เป็นภาพคนบนพื้นหลังใหม่ที่ถูกปรับแสงให้เข้ากับสภาพแวดล้อมเรียบร้อยแล้ว

งานวิจัยนี้ระบุว่ายังมีขีดจำกัดในการใช้งานอยู่ เช่น ลายเสื้อผ้า แสงสะท้อนจากตา รวมถึงการปรับแสงในวิดีโอที่ยังไม่เสถียร เนื่องจากเป็นการปรับแสงแบบทีละเฟรม

ในการใช้งานนั้นต้องการเพียงแค่รูปภาพคนต้นฉบับ และภาพพื้นหลังใหม่เท่านั้น ไม่จำเป็นที่จะต้องตัดพื้นหลังออกก่อนด้วย โดยอัลกอริทึมนี้ก็จะทำทุกอย่างทั้งตัดพื้นหลังและปรับแสงเพื่อนำไปวางบนพื้นหลังใหม่ให้อย่างเรียบร้อย

ทั้งนี้งานวิจัยนี้ยังไม่มีการเปิดใช้งานอย่างสาธารณะ และเตรียมตัวที่จะนำเสนอในงานประชุมวิชาการเกี่ยวกับด้านกราฟิก SIGGRAPH 2021 ที่จะจัดขึ้นในวันที่ 9-13 สิงหาคมนี้

สามารถอ่านงานวิจัยฉบับเต็มได้ที่ augmentedperception.github.io/total_relighting