Hu moments qua dịch chuyển, xoay và phản chiếu

BƯỚC 02

Ba bước loại bỏ ảnh hưởng của tư thế

Moment thô thay đổi khi vật dịch chuyển. Chuyển sang $\mu_{pq}=\sum_x\sum_y(x-\bar{x})^p(y-\bar{y})^qI(x,y)$ loại ảnh hưởng của vị trí gốc. Tiếp theo, moment chuẩn hóa $$\eta_{pq}=\frac{\mu_{pq}}{\mu_{00}^{1+(p+q)/2}}$$ loại ảnh hưởng của tỷ lệ trong mô hình miền liên tục. Các tổ hợp đa thức của $\eta$ được chọn để loại ảnh hưởng của phép quay.

Hai thành phần đầu dễ đọc là $h_1=\eta_{20}+\eta_{02}$ và $h_2=(\eta_{20}-\eta_{02})^2+4\eta_{11}^2$

BƯỚC 03

Chọn biến đổi không tạo thêm sai số nội suy

Thí nghiệm dùng một đa giác bất đối xứng trong ảnh vuông $180\times 180$. Đa giác tránh mép và có phần nhô ra để thành phần liên quan đến phản chiếu không triệt tiêu vì đối xứng. Ta tạo bản dịch nguyên pixel, bản xoay đúng 90 độ và bản phản chiếu ngang.

Các phép np.roll, np.rot90 và đảo cột chỉ hoán vị giá trị. Riêng roll có khả năng cuộn vòng, nhưng vùng thử được đặt đủ xa mép để phép dịch không làm phần vật vượt khung. Cần giữ điều kiện này khi đổi đa giác. Thí nghiệm không dùng phóng tỷ lệ tùy ý vì việc đó thêm câu hỏi về cách raster hóa và nội suy. Sau khi kiểm tra trường hợp hoán vị chính xác, bạn có thể mở rộng sang góc 17 độ để thấy độ phân giải và ngưỡng nhị phân ảnh hưởng tới tính bất biến gần đúng thế nào.

BƯỚC 04

Tính Hu và dùng log để đọc các độ lớn

Mỗi mặt nạ đi qua cv2.moments với binaryImage bật, rồi cv2.HuMoments tạo vector bảy phần tử. Ta kiểm tra trên các giá trị thô. Biểu đồ mới dùng biến đổi $-\operatorname{sign}(h)\log_{10}\!\left(\max\left(|h|,10^{-30}\right)\right)$ để đưa các số rất khác độ lớn lên cùng một trục.

Giới hạn nhỏ trong log tránh log của không. Nó không tạo thêm thông tin về hình và cũng không biến một thành phần gần không thành đặc trưng ổn định. Khi h thay dấu rất gần không, giá trị log có dấu có thể nhảy mạnh dù thay đổi tuyệt đối ban đầu cực nhỏ.

Mã dưới đây là một chương trình hoàn chỉnh, tự tạo dữ liệu và chạy trên CPU. Cài các thư viện numpy, scipy, matplotlib và opencv-python trong một môi trường Python, rồi lưu mã bằng đúng tên tập tin được ghi bên dưới. Chạy tập tin bằng Python. Có thể truyền --output để chọn nơi lưu hình và --metrics để chọn nơi lưu kết quả số dạng JSON. Chương trình không mở cửa sổ tương tác nên cũng chạy được trong terminal. Các lệnh assert dừng chương trình nếu một tính chất cần kiểm tra không còn đúng. Khi đổi dữ liệu hoặc tham số, hãy đọc điều kiện kiểm tra trước khi thay ngưỡng để tránh che một lỗi thật.

"""Original CPU experiment. Run: python FILE.py --output result.png --metrics result.json"""
import argparse, json
from pathlib import Path
import numpy as np
import cv2
import matplotlib
matplotlib.use('Agg')
import matplotlib.pyplot as plt
from scipy import ndimage, signal, fft
parser=argparse.ArgumentParser()
parser.add_argument('--output',default=Path(__file__).stem+'.png')
parser.add_argument('--metrics',default=Path(__file__).stem+'.json')
args=parser.parse_args()
plt.rcParams.update({'font.family':'DejaVu Sans','font.size':11,'axes.titlesize':13,'figure.facecolor':'#f5f7f1','axes.prop_cycle':plt.cycler(color=['#28765a','#bd8f4f','#687dc1'])})
rng=np.random.default_rng(17)
metrics={}
def panels(images,titles,cmaps=None):
    fig,axes=plt.subplots(1,len(images),figsize=(12,4.8),constrained_layout=True)
    axes=np.atleast_1d(axes)
    for i,(ax,im,title) in enumerate(zip(axes,images,titles)):
        ax.imshow(im,cmap=(cmaps[i] if cmaps else 'viridis'),interpolation='nearest')
        ax.set_title(title)
        ax.set_axis_off()
    return fig,axes
mask=np.zeros((180,180),np.uint8)
poly=np.array([[24,30],[124,36],[143,71],[104,89],[110,145],[57,122],[35,79]])
cv2.fillPoly(mask,[poly],1)
variants=[mask,np.roll(mask,(9,12),(0,1)),np.rot90(mask).copy(),np.fliplr(mask).copy()]
hu=np.array([cv2.HuMoments(cv2.moments(v,True)).ravel() for v in variants])
assert np.allclose(hu[0],hu[1],rtol=1e-7,atol=1e-15)
assert np.allclose(hu[0],hu[2],rtol=1e-7,atol=1e-15)
assert np.allclose(hu[0,:6],hu[3,:6],rtol=1e-7,atol=1e-15)
assert np.isclose(hu[0,6],-hu[3,6],rtol=1e-7,atol=1e-15)
fig,axes=plt.subplots(2,4,figsize=(12,6.5),constrained_layout=True)
names=['Gốc','Dịch nguyên pixel','Xoay đúng 90°','Phản chiếu']
for k in range(4):
    axes[0,k].imshow(variants[k],cmap='Greens')
    axes[0,k].set_title(names[k])
    axes[0,k].axis('off')
    h=-np.sign(hu[k])*np.log10(np.maximum(abs(hu[k]),1e-30))
    axes[1,k].bar(np.arange(1,8),h,color='#28765a')
    axes[1,k].set_ylim(-23,23)
    axes[1,k].set_xticks([1,4,7])
    axes[1,k].set_xlabel('Chỉ số Hu')
metrics={'hu_raw':hu.tolist(),'translation_max_error':float(abs(hu[0]-hu[1]).max()),'rotation90_max_error':float(abs(hu[0]-hu[2]).max()),'mirror_hu7_sum':float(hu[0,6]+hu[3,6])}

Path(args.output).parent.mkdir(parents=True,exist_ok=True)
Path(args.metrics).parent.mkdir(parents=True,exist_ok=True)
fig.savefig(args.output,dpi=150,facecolor=fig.get_facecolor())
plt.close(fig)
Path(args.metrics).write_text(json.dumps(metrics,ensure_ascii=False,indent=2),encoding='utf-8')
print(json.dumps(metrics,ensure_ascii=False))

BƯỚC 05

Điều gì thật sự bất biến trong kết quả

Chương trình yêu cầu vector Hu của ảnh dịch và ảnh xoay 90 độ gần vector gốc, với dung sai tương đối $10^{-7}$ và tuyệt đối $10^{-15}$. Với ảnh phản chiếu, sáu thành phần đầu phải giữ nguyên, còn thành phần thứ bảy phải đổi dấu. Điều này giúp tránh phát biểu quá rộng rằng mọi Hu đều bất biến với phản chiếu.

Hình đầu ra đặt mặt nạ phía trên và các giá trị log phía dưới. Hãy tìm thành phần đổi dấu khi lật gương, thay vì chỉ nhìn khoảng cách tổng giữa hai vector. Tệp metrics giữ giá trị thô và sai số lớn nhất cho từng phép kiểm tra. Một đồ thị gần giống có thể che sai số ở thành phần nhỏ. Ngược lại, một cột log trông khác nhiều có thể đến từ số gần bằng không. Vì thế kết luận nên dựa trên cả giá trị thô, quy mô sai số và ý nghĩa biến đổi đang thử.

Xem hình lớn ↗

BƯỚC 06

Giới hạn của một mô tả chỉ có bảy số

Hu gộp toàn bộ vùng thành một vector ngắn nên mất nhiều thông tin địa phương. Một lỗ nhỏ, một đoạn biên bị sứt hoặc nhiễu xa tâm có thể tác động khác nhau lên các bậc moment. Với vật bị che nhiều, descriptor có thể thay đổi mạnh. Không nên đặt một ngưỡng giống nhau cho mọi kích thước ảnh và mọi kiểu mặt nạ.

Khi hình có đối xứng, một số thành phần lý tưởng bằng không. Sai số rời rạc có thể quyết định dấu của chúng, làm so sánh log nhạy hơn dự kiến. Phóng một hình rất nhỏ rồi xoay không phục hồi thông tin mà ảnh gốc chưa có. Hãy thử cùng đa giác ở độ phân giải thấp và cao, đo sai khác sau một góc quay không vuông. Bài tập này phân biệt tính chất toán học của miền liên tục với hành vi của một thuật toán trên lưới hữu hạn, đồng thời giúp chọn đặc trưng phù hợp cho dữ liệu thực tế.