Mô hình
BiRefNet, Moebius, VOSR và DDColor: Bốn vấn đề nghịch đảo, bốn cách thất bại
Khôi phục hình ảnh/so sánh mô hình đặc biệt
Khôi phục hình ảnh/so sánh mô hình đặc biệt
CHUYÊN GIA XỬ LÝ ẢNH
Tách nền tối ưu đường biên và kênh alpha. Tô vùng khuyết sinh nội dung bên trong mặt nạ. Siêu phân giải cân bằng điều kiện ảnh LR với tiên nghiệm chi tiết. Tô màu dự đoán sắc độ khi độ sáng giữ nguyên.
Một mục tiêu tách nền có thể kết hợp L_mat=λ₁L_BCE+λ₂L_IoU+λ₃L_edge. Sinh ảnh có mặt nạ tuân theo x_out=(1-m)⊙x+m⊙G(x,m). VOSR thêm một sự đánh đổi có thể điều chỉnh giữa độ trung thực LR và chi tiết được sinh ra.
BiRefNet dự đoán xác suất tiền cảnh và đường biên, Moebius lấp đầy vùng bị che, VOSR sinh chi tiết tần số cao từ quan sát độ phân giải thấp, còn DDColor ước lượng sắc độ. RGBA, tô vùng khuyết, siêu phân giải và tô màu không thể dùng chung một thang điểm chất lượng.
Con số 15× của Moebius gắn với phần cứng và baseline được nêu tên trong bài báo. Mô hình nhiều bước và một bước của VOSR cũng đại diện cho những đánh đổi chi phí–chất lượng khác nhau. Tốc độ hay điểm số của một chuyên gia không chứng minh được hiệu năng trên ba bài toán còn lại.
Tách nền, tô vùng khuyết, siêu phân giải và tô màu đều nhận ảnh đầu vào nhưng tối ưu những mục tiêu khác nhau. BiRefNet dự đoán đường biên tiền cảnh, Moebius lấp đầy hoặc vẽ lại vùng chọn, VOSR khôi phục chi tiết, còn DDColor ước lượng màu sắc. Gọi chung cả bốn là 'nâng cấp ảnh' sẽ che mất việc những pixel nào được phép thay đổi.
Các mô hình chuyên biệt hữu ích vì hợp đồng của chúng rõ ràng: tách nền phải giữ nguyên RGB, tô vùng khuyết được phép sinh nội dung trong mặt nạ, upscale phải kiểm soát ảo giác kết cấu, còn tô màu vốn là bài toán thiếu ràng buộc. Một workspace chuẩn hóa I/O và tác vụ; phần nghiệm thu vẫn tách riêng.
ŷ=T_task(x,m,c), task∈{matte,inpaint,restore,colorize}xảnh nguồnmmặt nạ tùy chọncđiều kiện văn bản hoặc tác vụBiRefNet dự đoán tiền cảnh/alpha, Moebius tiêu thụ một mặt nạ và văn bản tùy chọn, VOSR tái dựng chi tiết độ phân giải cao, còn DDColor ước lượng sắc độ. Phương trình cố ý được đánh chỉ số theo tác vụ; nó không giả vờ rằng cả bốn chia sẻ một hàm mất mát.
Tách nền kiểm tra đường biên và độ trong mờ; tô vùng khuyết kiểm tra đường nối mặt nạ; khôi phục kiểm tra kết cấu bịa ra; tô màu kiểm tra sắc độ hợp lý. Một điểm số độ nét duy nhất sẽ giấu đi những lỗi này.
Bài báo, mã nguồn và trọng số có thể truy theo qua BiRefNet / Moebius / VOSR.
Mỗi hàng giữ nguyên kiến trúc nguồn, độ đo hoặc định nghĩa tác vụ của nó; kết quả không có giao thức chung thì vẫn tách riêng.
| Mô hình | Kiến trúc hoặc bằng chứng | Phạm vi |
|---|---|---|
| BiRefNet | alpha tiền cảnh hoặc mặt nạ | đường biên, lỗ hổng, độ trong suốt |
| Moebius | sinh ảnh bên trong mặt nạ | đường nối, ngữ nghĩa, phối cảnh |
| VOSR / DDColor | khôi phục chi tiết / ước lượng màu | ảo giác kết cấu / nhiều nghiệm khả dĩ |
BiRefNet cần đường biên tóc, kính và nhòe chuyển động; Moebius cần đường nối, phối cảnh và cấu trúc lặp; VOSR phải tách được kết cấu khôi phục được khỏi chữ bịa ra; DDColor phải thừa nhận nhiều màu cùng hợp lý.
Giữ cố định kernel resize, không gian màu, nén và nhân tiền alpha. Nếu không, quầng sáng và chênh lệch độ sắc có thể đến từ I/O chứ không phải từ mạng nơ-ron.
Tô màu và vá vùng che khuất không thể khôi phục một sự thật lịch sử duy nhất; ảnh lưu trữ được phục chế nên được gắn nhãn là mang tính diễn giải.
Chữ nhỏ, kết cấu và gương mặt được sinh ra không phải bằng chứng từ ảnh gốc và không được dùng để ủng hộ các kết luận pháp y hay nhận dạng danh tính.
Tên mô hình, con số và giới hạn được truy về tới các bài báo, kho mã nguồn hoặc thẻ mô hình bên dưới.