Bộ lọc Bayer thiếu hai màu ở mỗi điểm, ảnh RGB đến từ đâu?
Một ô cảm biến dưới lưới Bayer chỉ cho một số. Hai kênh còn lại được ước lượng từ ô bên cạnh. Thử với một cạnh đen–trắng để xem vì sao phép nội suy có thể tạo ra màu mà cảnh gốc không có.
How Things WorkCơ chế của những điều quen thuộc
01 · Cảnh gốc
Cạnh đen–trắng, nhưng xuất hiện màu
Trong ví dụ mặc định, ô B (3, 3) nằm ngay bên trắng của cạnh. Cảnh gốc đặt cả ba kênh của ô này bằng 1. Ở ảnh tái tạo, B vẫn bằng 1 nhưng R chỉ còn 0,50 và G còn 0,75. Không có màu nào ở cảnh gốc để máy ảnh “nhặt” vào ô này. Màu xuất hiện vì hai kênh còn lại mượn số từ những ô ở hai bên cạnh. Nếu bạn đã đổi cấu hình, hình vẫn giữ lựa chọn của bạn. Bấm Đặt lại trong chế độ tự thử để khôi phục hình mặc định, hoặc xem bảng đối chiếu.
Ta có sẵn cảnh gốc vì chính mô hình dựng nó: một lưới 8 × 8, gốc (0, 0) ở trên trái; x là cột tăng sang phải, y là hàng tăng xuống dưới. Trong cảnh đen–trắng, cột 0–2 là (0; 0; 0), cột 3–7 là (1; 1; 1). Bộ ba luôn viết theo thứ tự R, G, B và dùng giá trị tuyến tính chuẩn hóa từ 0 đến 1. Máy ảnh thật không có bản RGB gốc để nhìn trước như ta.
02 · Mẫu Bayer
Một ô chỉ cho một số
Photodiode tích điện khi nhận ánh sáng. Đặt trước mỗi photodiode một bộ lọc nhỏ, ta có thể ưu tiên một dải bước sóng khác nhau theo vị trí. Hàng chẵn của lưới RGGB xen kẽ R–G; hàng lẻ xen kẽ G–B. Mỗi khối 2 × 2 có một R, hai G và một B. Trên lưới 8 × 8, tổng cộng có 16 mẫu R, 32 mẫu G và 16 mẫu B. Mẫu G dày hơn giúp lấy thêm chi tiết ở kênh vốn đóng góp nhiều vào độ sáng; G không phải là phép đo độ chói hoàn chỉnh. [S1]
Mô hình coi mỗi lọc như một phép chọn kênh hoàn hảo; lọc thật có đáp ứng phổ rộng và chồng lấn. Trong ví dụ trên, ô B (3, 3) cho đúng một số B = 1. R và G ở ô đó là chưa biết, không phải bằng 0. Đối chiếu ba khung: cảnh gốc có ba số một ô, lưới Bayer chỉ có một, còn khung cuối lại có ba số nhờ nội suy.
03 · Nội suy
Giữ số đo, rồi đọc số từ ô lân cận
Khung 3 × 3 phóng to ô đang xét. Ô ở giữa có viền dày: đó là mẫu duy nhất đo tại chỗ. Viền liền mảnh là mẫu lấy trên trục; viền đứt là mẫu lấy theo đường chéo. Ô không có viền không góp vào phép tính. Chữ R/G/B và số trong mỗi ô cho biết đang lấy mẫu nào mà không cần phân biệt màu. Phép nội suy trong bài là trung bình các mẫu gần nhất của từng kênh, theo cách bilinear. [S2]
Ở ô R hoặc B: bốn láng giềng trên, dưới, trái, phải đều là G; bốn ô chéo thuộc kênh còn lại. Với ô B (3, 3), ba trong bốn mẫu G trên trục ở phía trắng nên G = (1 + 0 + 1 + 1) ÷ 4 = 0,75. Chỉ hai trong bốn mẫu R đường chéo ở phía trắng nên R = (0 + 1 + 0 + 1) ÷ 4 = 0,50. Dải viền gạch ở khung nội suy là các ô biên chưa tính, không phải điểm đen; ta chỉ tính 6 × 6 ô có đủ láng giềng.
Ở ô G: hàng có R dùng hai R ngang và hai B dọc. Hàng có B thì ngược lại: hai R dọc, hai B ngang. Chẳng hạn, G (3, 2) mượn R từ (2, 2) và (4, 2), còn G (2, 3) mượn R từ (2, 2) và (2, 4). Kênh G đo tại chỗ không đổi ở cả hai trường hợp. Đối chiếu tọa độ và số.
Sau bài đọc
Đổi cảnh, rồi đổi đúng một tọa độ
Mở tự thử để đưa hình xuống cạnh điều khiển. Hai thanh trượt x và y chọn cột và hàng từ 1 đến 6. Các số và phép tính ở cạnh điều khiển cập nhật cùng hình; trên điện thoại, không cần cuộn lại lên hình để biết kênh nào đo tại chỗ.
- Giữ nguyên ô, đổi cảnh. Chọn Mảng đều · R (2, 2): mọi mẫu cùng kênh đều bằng nhau, nên ảnh nội suy khớp (0,20; 0,50; 0,80). Chọn Cạnh trung tính · R (2, 2): R đo 0, G ước lượng 0,25 và B ước lượng 0,50. Một mẫu G trên trục và hai mẫu B đường chéo nằm bên trắng; đó là nơi hai số khác 0 đi vào.
- Thử cả hai ô G. Từ ô R (2, 2), chỉ tăng x một nấc để đến G (3, 2): R lấy ngang. Đưa x về 2 và tăng y một nấc để đến G (2, 3): R lấy dọc. Đọc cả tên kênh và phép tính, đừng chỉ so màu.
- Đi theo đường của dữ liệu. Chạy lần lượt nhấn mạnh cảnh gốc, mẫu Bayer và RGB nội suy. Vạch dày dưới tiêu đề chỉ pha đang xem; cả ba bản đối chiếu luôn hiện. Dừng giữ pha và ô đã chọn. Từng bước tới pha kế, từ pha cuối quay về cảnh gốc. Chọn cảnh hoặc tọa độ không làm nhảy pha; Đặt lại đưa về cạnh đen–trắng với ô B (3, 3).
Nếu nút vẫn khóa, hãy dùng bảng đối chiếu và phép tính tay.
Pha đang xem: Cảnh gốcÔ (3, 3) · R ước lượng 0,50 · G ước lượng 0,75 · B đo 1. Gốc (1; 1; 1) → RGB (0,50; 0,75; 1). R Chéo (0+1+0+1) ÷ 4 · G Trục (1+0+1+1) ÷ 4.
Dừng, rời tab hoặc quay lại bài đọc đều giữ nguyên trạng thái của mô hình.
Năm điểm đối chiếu không cần JavaScript
Hai bộ ba trong mỗi hàng đều theo thứ tự R, G, B. Cột “Đo tại ô” chỉ mang một số từ lưới Bayer; hai số kia đến từ những ô bên cạnh.
| Cảnh và ô | RGB gốc | Đo tại ô | RGB nội suy |
|---|---|---|---|
| Mảng đều (2, 2) | (0,20; 0,50; 0,80) | R = 0,20 | (0,20; 0,50; 0,80) |
| Cạnh (2, 2) | (0; 0; 0) | R = 0 | (0; 0,25; 0,50) |
| Cạnh (3, 2) | (1; 1; 1) | G = 1 | (0,50; 1; 1) |
| Cạnh (2, 3) | (0; 0; 0) | G = 0 | (0; 0; 0,50) |
| Cạnh (3, 3) | (1; 1; 1) | B = 1 | (0,50; 0,75; 1) |
Khi cả ba kênh ban đầu bằng nhau mà ba số sau nội suy lệch nhau, đó là màu giả. Những ô ở sát ranh giới có thể bị ảnh hưởng dù số duy nhất đo tại chỗ vẫn hoàn toàn đúng trong mô hình.
Nguồn, phép tính và giới hạn
Tài liệu tham khảo
- [S1] Bryce E. Bayer, Color Imaging Array, US3971065A. Hình 1A–1B và 3A–3B: bố trí lọc lặp lại, G ở một nửa vị trí.
- [S2] Pascal Getreuer, Malvar-He-Cutler Linear Image Demosaicking, IPOL (PDF). Mục 1–2: lưới Bayer, trung bình bilinear và màu giả ở cạnh. Bài chỉ dùng phần nội suy bilinear, không dùng các số hạng hiệu chỉnh chéo kênh của Malvar–He–Cutler.
Tự tính lại ô R (2, 2)
R ở (2, 2) nằm bên đen nên đo 0. Đọc G theo thứ tự trên, trái, phải, dưới: (2, 1), (1, 2), (3, 2), (2, 3). Chỉ (3, 2) bên trắng, nên G = (0 + 0 + 1 + 0) ÷ 4 = 0,25. Các mẫu B ở (1, 1), (3, 1), (1, 3), (3, 3) có hai số 1 ở cột 3, nên B = (0 + 1 + 0 + 1) ÷ 4 = 0,50.