Step-by-Step: Vision Transformer

Transformer hoạt động dựa trên kiến trúc encoder-decoder, trong đó:

• Encoder (bên trái Hình 2): Nhận dữ liệu đầu vào, biểu diễn nó dưới dạng vector embedding, và áp dụng self-attention để tìm mối liên hệ giữa các phần tử trong chuỗi dữ liệu.

• Decoder (bên phải Hình 2): Sử dụng kết quả từ encoder, kết hợp với cơ chế attention để tạo ra đầu ra, chẳng hạn như câu dịch hoặc văn bản tóm tắt.

Cơ chế self-attention là trung tâm của Transformer. Thay vì chỉ tập trung vào phần dữ liệu ngay trước hoặc sau phần tử hiện tại (như trong RNN), self-attention cho phép mô hình "nhìn" toàn bộ chuỗi và quyết định mức độ quan trọng của từng phần tử trong việc dự đoán kết quả. Điều này giúp Transformer dễ dàng học được mối quan hệ giữa các phần tử cách xa nhau trong chuỗi.

Một ưu điểm lớn khác của Transformer là khả năng xử lý song song, nhờ không phụ thuộc vào tính tuần tự như RNN. Điều này giúp giảm đáng kể thời gian huấn luyện khi làm việc với dữ liệu lớn. Chính nhờ những ưu điểm này, Transformer đã nhanh chóng trở thành tiêu chuẩn trong các bài toán xử lý ngôn ngữ tự nhiên, như dịch máy, tóm tắt văn bản, và trả lời câu hỏi. Tuy vậy, mặc dù Transformer là một kiến trúc cực kỳ mạnh mẽ và tiềm năng, song thời điểm nghiên cứu ban đầu chỉ thực hiện trên dữ liệu văn bản. Điều này đã thôi thúc các nhà nghiên cứu tìm cách áp dụng Transformer cho các kiểu dữ liệu khác, đặc biệt là dữ liệu hình ảnh. Trong số các công trình đã được thực hiện, Vision Transformer (ViT) là một điểm nổi bật.

Ý tưởng cốt lõi của ViT là chuyển đổi hình ảnh thành một chuỗi các vùng ảnh nhỏ, gọi là "patch", tương tự như cách một câu được chia thành các từ trong ngôn ngữ. Sau khi chia hình ảnh thành các patch, mỗi patch được chuyển đổi tuyến tính (linear projection) thành một vector biểu diễn (embedding), tương tự như cách các token embedding được sử dụng trong Transformer gốc. Các vector này sau đó được kết hợp với thông tin vị trí (positional encoding) để tạo thành một chuỗi các embedding, đóng vai trò là đầu vào cho Transformer.

Khi đã có chuỗi các vector embedding này, ViT áp dụng gần như tương tự các bước tính toán như trong encoder của Transformer. Cụ thể, ViT sử dụng cơ chế self-attention để tính toán mối liên hệ giữa các patch trong toàn bộ bức ảnh, cho phép mô hình hiểu được các đặc trưng không gian và mối quan hệ giữa các vùng khác nhau trong hình ảnh. Quá trình này giúp ViT tận dụng sức mạnh tính toán song song và khả năng học các mối quan hệ dài hạn của Transformer, đồng thời thích ứng hoàn hảo với dữ liệu hình ảnh. Với cách tiếp cận này, ViT không chỉ kế thừa sức mạnh từ Transformer mà còn mở ra một hướng đi mới trong xử lý hình ảnh, nơi dữ liệu hình ảnh được biểu diễn và phân tích theo cách giống như dữ liệu ngôn ngữ. Đây chính là bước tiến quan trọng, đặt nền móng cho việc ứng dụng Transformer vào các lĩnh vực thị giác máy tính.

Hình 3: Kỹ thuật patching hướng đến việc chia ảnh thành các "patch", là các vùng ảnh có kích thước bằng nhau.

Để hiểu rõ cách hoạt động của ViT, chúng ta sẽ tìm hiểu từng bước xử lý mà ViT cần thực hiện trong một lần forward dữ liệu đầu vào để lấy kết quả dự đoán. Theo đó, với pipeline xử lý tổng quát của ViT, như được minh họa trong (Hình 1), chúng ta sẽ khám phá cách xử lý dữ liệu cho một ảnh và một batch ảnh.

Trong bước đầu tiên của pipeline Vision Transformer (ViT), chúng ta cần định nghĩa rõ cấu trúc của ảnh đầu vào và cách chia ảnh thành các patch nhỏ. Một ảnh đơn sẽ được biểu diễn dưới dạng tensor với kích thước $H \times W \times C$, trong đó $H, W, C$ lần lượt là chiều cao, chiều rộng và số kênh (channel).

Đối với batch ảnh, tensor sẽ có kích thước $B \times H \times W \times C$, với $B$ là số lượng ảnh trong batch. Kích thước patch được quy định là $P \times P$, và tổng số lượng patch $N$ trên mỗi ảnh được tính theo công thức:

Như vậy, bước đầu tiên sẽ nhận đầu vào (input) là một ảnh hoặc một batch ảnh. Với đầu vào là một ảnh đơn, ảnh được biểu diễn dưới dạng tensor $\mathbf{I} \in \mathbb{R}^{H \times W \times C}$, trong đó $H$, $W$, và $C$ lần lượt là chiều cao, chiều rộng và số kênh (channel) của ảnh. Đối với batch ảnh, đầu vào được biểu diễn dưới dạng tensor $\mathbf{I}_{\text{batch}} \in \mathbb{R}^{B \times H \times W \times C}$, với $B$ là số lượng ảnh trong batch.

Kết quả đầu ra (output) của bước này là ảnh hoặc batch ảnh đã được xử lý, chia thành các patch nhỏ ở bước tiếp theo.

Bước 2 tiếp tục với việc chia tensor đầu vào $\mathbf{I}$ thành $N$ patch nhỏ. Mỗi patch có kích thước $P \times P \times C$, và sau đó được làm phẳng (flatten) để chuyển thành một vector với chiều dài $P^2C$. Quá trình này giúp tổ chức lại thông tin từ ảnh gốc dưới dạng các vector nhỏ hơn, chuẩn bị cho các bước xử lý tiếp theo. Đầu ra cho một ảnh được biểu diễn như sau:

Đối với batch ảnh $\mathbf{I}_{\text{batch}}$, quá trình này được áp dụng cho từng ảnh trong batch. Sau khi chia, batch ảnh được sắp xếp lại thành một tensor với kích thước:

Bước 3 liên quan đến quá trình Patch Embedding, trong đó các patch được ánh xạ từ không gian $\mathbb{R}^{P^2C}$ sang không gian $\mathbb{R}^{D}$ bằng cách sử dụng một tầng tuyến tính (Linear Layer). Quá trình này được thực hiện thông qua công thức chính, với $W_E \in \mathbb{R}^{(P^2C) \times D}$ là trọng số và $b_E \in \mathbb{R}^{D}$ là bias của tầng embedding:

Đối với batch ảnh, công thức trên được áp dụng cho toàn bộ batch, cụ thể:

Đầu vào của bước này bao gồm tensor $\mathbf{X}_{\text{patch}} \in \mathbb{R}^{N \times (P^2C)}$ đối với một ảnh và tensor $\mathbf{X}_{\text{patch\_batch}} \in \mathbb{R}^{B \times N \times (P^2C)}$ đối với batch ảnh. Kết quả đầu ra là tensor $\mathbf{E} \in \mathbb{R}^{N \times D}$ cho một ảnh và tensor $\mathbf{E}_{\text{batch}} \in \mathbb{R}^{B \times N \times D}$ cho batch ảnh. Quá trình này đảm bảo rằng các patch đã được ánh xạ sang không gian mới để phù hợp với các bước tiếp theo trong pipeline Vision Transformer.

Hình 4: Biểu diễn Positional Encoding trên không gian vị trí và chiều sâu. Nguồn: Link.

Bước 4 tiếp tục bằng việc thêm thông tin về vị trí vào từng patch. Điều này được thực hiện bằng cách cộng thêm một vector mã hóa vị trí $E_{\text{pos}}$ vào tensor đầu vào $\mathbf{E}$. Quá trình này được biểu diễn qua công thức:

trong đó $\mathbf{E} \in \mathbb{R}^{N \times D}$ là tensor đại diện cho các patch sau bước embedding, và $E_{\text{pos}} \in \mathbb{R}^{N \times D}$ là vector mã hóa vị trí có cùng kích thước.

Đối với batch ảnh, cách làm tương tự được áp dụng trên toàn bộ batch. Công thức tổng quát cho batch ảnh được viết như sau:

với $\mathbf{E}_{\text{batch}} \in \mathbb{R}^{B \times N \times D}$ là tensor đại diện cho các patch trong batch và $E_{\text{pos}} \in \mathbb{R}^{N \times D}$ là vector mã hóa vị trí được áp dụng cho từng ảnh trong batch.

Bước 5 xử lý qua Transformer Encoder, bắt đầu bằng việc áp dụng Layer Normalization (LayerNorm) lên đầu vào. Với dữ liệu đầu vào $\mathbf{Z}_0$ cho một ảnh và $\mathbf{Z}_{0\_\text{batch}}$ cho batch ảnh, kết quả sau LayerNorm được tính như sau:

Sau bước LayerNorm, Multi-Head Self-Attention (MSA) được thực hiện. Quá trình này bắt đầu bằng việc tính toán các tensor Query ($Q$), Key ($K$), và Value ($V$) cho từng head. Cụ thể, với một ảnh, chúng được tính như sau:

và với batch ảnh:

Tiếp theo, Attention được tính dựa trên công thức:

trong đó $D$ là kích thước của vector Key.

Sau khi tính Attention, đầu ra của MSA được kết hợp với đầu vào ban đầu qua Residual Connection và LayerNorm lần nữa. Kết quả được tính như sau:

Tiếp đó, LayerNorm được áp dụng:

Hình 5: Minh họa về Layer Normalization. Nguồn: Link.

Cuối cùng, cho từng patch vector sau Multi-Head Self-Attention (MSA) đã được norm vào Multi-layer Perceptron (MLP). MLP trong cài đặt ở bài này sẽ bao gồm hai tầng tuyến tính (Linear Layers) được kết nối với nhau bởi hàm kích hoạt GELU. Kết quả sau khi qua MLP được cộng thêm residual từ đầu vào để tạo ra đầu ra cuối cùng. Công thức tổng quát cho một ảnh được viết như sau:

Đối với batch ảnh, quá trình này được thực hiện tương tự với công thức tổng quát là:

Trong các công thức trên:

• $\mathbf{Z'}_1$ là đầu ra đã chuẩn hóa từ bước MSA. $\mathbf{Z'}_{1\_\text{batch}} \in \mathbb{R}^{B \times N \times D}$ cho batch ảnh

• $W_1$ và $W_2$ là ma trận trọng số của hai tầng tuyến tính.

• $b_1$ và $b_2$ là bias của hai tầng tuyến tính.

• GELU là hàm kích hoạt Gaussian Error Linear Unit.

Kết quả đầu ra lần lượt là tensor $\mathbf{Z}_2 \in \mathbb{R}^{N \times D}$ cho một ảnh và $\mathbf{Z}_{2\_\text{batch}} \in \mathbb{R}^{B \times N \times D}$ cho batch ảnh. Quá trình này đảm bảo rằng mỗi patch vector được xử lý qua một mạng tuyến tính để tăng cường thông tin trước khi tiếp tục đến bước tiếp theo trong pipeline.

Về lý thuyết, Transformer Encoder với LayerNorm, Self-Attention, Residual Connection và MLP sẽ giúp đảm bảo thông tin trong các patch được xử lý hiệu quả, giữ lại các mối quan hệ quan trọng trong dữ liệu đầu vào. Ở cài đặt thực tế, ta có thể cài đặt sử dụng nhiều Encoder Block một cách tuần tự. Song trong bài này, ta sẽ chỉ quan tâm một Encoder Block.

Bước 6 tập trung vào việc trích xuất token đặc biệt [CLS] từ chuỗi các patch vector đã được xử lý trước đó. Token đặc biệt [CLS] được định nghĩa là hàng đầu tiên của ma trận đầu ra $Z_2$. Đây là vector duy nhất đại diện cho toàn bộ thông tin từ các patch của hình ảnh và thường được sử dụng làm đầu vào cho các nhiệm vụ phân loại hoặc các bước xử lý tiếp theo trong pipeline. Công thức trích xuất như sau:

trong đó:

• $\mathbf{Z}_2 \in \mathbb{R}^{N \times D}$ là ma trận đầu ra sau khi đi qua Multi-Layer Perceptron (MLP).

• $\mathbf{Z}_{\text{CLS}} \in \mathbb{R}^{D}$ là vector đại diện duy nhất của token [CLS].

• $\text{row}_1(\mathbf{Z}_2)$ biểu diễn hàng đầu tiên của ma trận $\mathbf{Z}_2$.

Đối với batch ảnh, quy trình này được áp dụng cho toàn bộ các ảnh trong batch, token [CLS] được lấy từ hàng đầu tiên của mỗi tensor trong batch $\mathbf{Z}_{2, \text{batch}}$. Công thức được biểu diễn như sau:

trong đó:

• $\mathbf{Z}_{2, \text{batch}} \in \mathbb{R}^{B \times N \times D}$ là tensor đầu ra của batch ảnh, với $B$ là số lượng ảnh trong batch.

• $\mathbf{Z}_{\text{CLS, batch}} \in \mathbb{R}^{B \times D}$ là ma trận chứa token [CLS] của từng ảnh trong batch.

• Hàm slice trích xuất hàng đầu tiên của mỗi tensor trong batch.

Kết quả của bước này là token [CLS] dưới dạng tensor $\mathbf{Z}_{\text{CLS}} \in \mathbb{R}^{D}$ đối với một ảnh và $\mathbf{Z}_{\text{CLS, batch}} \in \mathbb{R}^{B \times D}$ đối với batch ảnh. Những token này được thiết kế để nắm giữ thông tin tổng quát nhất của ảnh hoặc batch ảnh, chuẩn bị cho các nhiệm vụ phân loại hoặc các bước xử lý tiếp theo trong pipeline.

Hình 6: So sánh giữa việc sử dụng kỹ thuật average pooling với token [CLS] (màu vàng).

Bước cuối cùng của pipeline là Classification Head, trong đó một MLP (Multi-Layer Perceptron) được sử dụng để ánh xạ token [CLS] thành các lớp phân loại. MLP bao gồm một hoặc nhiều tầng tuyến tính, cùng với hàm kích hoạt GELU, và kết thúc bằng việc áp dụng hàm Softmax để tính xác suất cho từng lớp.

Đầu tiên, token [CLS] được đưa vào tầng ẩn (Hidden Layer), với quá trình tính toán được biểu diễn như sau:

với $\mathbf{Z}_{\text{CLS}} \in \mathbb{R}^{D}$ là token đầu vào, $W_{\text{hidden}}$ và $b_{\text{hidden}}$ lần lượt là trọng số và bias của tầng ẩn. Đối với batch ảnh, công thức tương ứng là:

Tiếp theo, đầu ra từ tầng ẩn được đưa vào tầng đầu ra (Output Layer) để tính các logits:

$\text{Logits} = \mathbf{H}_{\text{hidden}} \cdot W_{\text{out}} + b_{\text{out}}$, $\text{Logits}_{\text{batch}} = \mathbf{H}_{\text{hidden\_batch}} \cdot W_{\text{out}} + b_{\text{out}}$,

với $W_{\text{out}}$ và $b_{\text{out}}$ là trọng số và bias của tầng đầu ra.

Cuối cùng, hàm Softmax được áp dụng lên các logits để chuyển đổi chúng thành xác suất cho từng lớp. Công thức tính xác suất được viết như sau:

Đầu ra cuối cùng của pipeline là các xác suất $\text{Probabilities} \in \mathbb{R}^{C}$ cho một ảnh và $\text{Probabilities}_{\text{batch}} \in \mathbb{R}^{B \times C}$ cho batch ảnh, trong đó $C$ là số lớp phân loại. Kết quả này đại diện cho dự đoán của mô hình, hoàn thiện quá trình xử lý từ đầu vào đến đầu ra của Vision Transformer.

Thực hành

Dựa theo các công thức tổng quan đã đề cập phía trên trong quá trình forward của Vision Transformer (ViT), chúng ta sẽ thực hành chạy tay các bước trên sử dụng một ma trận nhỏ và đơn giản làm ảnh đầu vào ví dụ. Theo đó, ta sẽ định nghĩa một bức ảnh đầu vào dạng grayscale kích thước $4 \times 4$. Để áp dụng kiến trúc ViT, chúng ta cần phải đi qua một quá trình bao gồm 8 bước chính như trên pipeline, bao gồm: từ việc chuẩn bị dữ liệu đầu vào đến đầu ra cuối cùng qua đầu mạng (classification head). Sau đây, ta sẽ cùng đi qua tính toán cụ thể từng bước:

Hình 7: Minh họa quá trình chuyển đổi từ ảnh đầu vào thành các vector embedding trong Vision Transformer.

Định nghĩa ảnh đầu vào và kích thước patch

Giả sử bức ảnh đầu vào là một ma trận $\mathbf{I}$ có kích thước $4 \times 4$, $\mathbf{I} \in \mathbb{R}^{H \times W \times C}$, với $H$, $W$, và $C$ lần lượt là chiều cao, chiều rộng, và số kênh của ảnh.

Chia ảnh thành các patch

Để xử lý ảnh đầu vào trong ViT, chúng ta cần chia ảnh thành các patch nhỏ hơn. Mỗi patch sẽ đóng vai trò là một token cho các bước xử lý tiếp theo. Kích thước mỗi patch có dạng $P \times P$. Chọn kích thước $P=2$. Khi đó, số lượng patch sẽ được tính như sau:

Như vậy, ảnh đầu vào được chuyển đổi thành một chuỗi gồm 4 patch, mỗi patch được biểu diễn dưới dạng một vector trong không gian features. Cụ thể ta có patch 1 là [1, 2, 5, 6], patch 2 là [3, 4, 7, 8], patch 3 là [9, 10, 13, 14], patch 4 là [11, 12, 15, 16].

Sau khi reshape và làm phẳng từng patch, ma trận đầu ra $\mathbf{X}_{\text{patch}} \in \mathbb{R}^{N \times (P^2 \cdot C)}$ chứa tất cả các patch có dạng là:

Patch Embedding

Để chuyển đổi các patch thành vector embedding, ta sử dụng ma trận embedding weight $W_E$ và bias $b_E$:

Tính được vector embedding:

Thêm Positional Encoding

Để giữ thông tin vị trí của các patch, sử dụng ma trận Positional Encoding $\mathbf{E}_{\text{pos}} \in \mathbb{R}^{4 \times 3}$ đã được định nghĩa trước:

Ma trận $Z_0$ đại diện cho embedding của các patch, sau khi đã được bổ sung thông tin về vị trí của từng patch. Ma trận này sẽ được sử dụng làm đầu vào cho bước tính toán Self-Attention.

Hình 8: Ảnh minh họa về phép Positional Encoding.

Transformer Encoder

Bước này thực hiện các phép tính trong một khối Transformer Encoder, gồm ba phần chính. Đầu tiên là Layer Normalization trước Multi-Head Self-Attention (MSA), bao gồm tính toán Query, Key, Value, Attention Scores, và Output. Tiếp theo ta sử dụng Residual Connection và Layer Normalization sau Attention và cuối cùng là thành phần Multi-layer Perceptron (MLP) để đưa ra dự đoán cuối cùng

Tính norm trước Multi-Head Self-Attention (MSA):

Input:

Áp dụng công thức tính LayerNorm:

với:

• Với hàng 1: $$\mu_1 = \frac{10.6 + 12.2 + 13.8}{3} = 12.2,$$ $$\quad \sigma_1 = \sqrt{\frac{(10.6-12.2)^2 + (12.2-12.2)^2 + (13.8-12.2)^2}{3}} \approx 1.2247.$$ Chuẩn hóa: $$\bm{Z'_0[1, :]} = \frac{\bm{Z_0[1, :]} - \mu_1}{\sigma_1} = [-1.2247, 0, 1.2247].$$
• Tính tương tự cho các hàng còn lại, ta được kết quả chuẩn hóa toàn bộ.

Multi-Head Self-Attention:

1. Xác định ma trận trọng số cho Q, K, V:

   Trong bước này, chúng ta tính các ma trận Query ($\mathbf{Q}$), Key ($\mathbf{K}$), và Value ($\mathbf{V}$) cho hai đầu Attention (Two Heads).

   Input:

   $$\bm{Z'_0} = \begin{bmatrix} -1.2247 & 0 & 1.2247 \\ -1.2247 & 0 & 1.2247 \\ -1.2247 & 0 & 1.2247 \\ -1.2247 & 0 & 1.2247 \end{bmatrix}, \quad \bm{Z'_0} \in \mathbb{R}^{4 \times 3}.$$

   Các ma trận trọng số $\mathbf{W_Q}$, $\mathbf{W_K}$, $\mathbf{W_V}$ cho mỗi đầu Attention:

   Head 1:

   $$\bm{W_Q^{(1)}} = \begin{bmatrix} 0.2 & 0.1 & 0.2 \\ 0.3 & 0.4 & 0.3 \\ 0.4 & 0.5 & 0.6 \end{bmatrix}, \quad \bm{W_K^{(1)}} = \begin{bmatrix} 0.1 & 0.2 & 0.3 \\ 0.4 & 0.5 & 0.6 \\ 0.7 & 0.8 & 0.9 \end{bmatrix}, \quad \bm{W_V^{(1)}} = \begin{bmatrix} 0.1 & 0.2 & 0.3 \\ 0.4 & 0.5 & 0.6 \\ 0.7 & 0.8 & 0.9 \end{bmatrix}.$$

   Head 2:

   $$\bm{W_Q^{(2)}} = \begin{bmatrix} 0.2 & 0.3 & 0.1 \\ 0.4 & 0.5 & 0.3 \\ 0.6 & 0.7 & 0.9 \end{bmatrix}, \quad \bm{W_K^{(2)}} = \begin{bmatrix} 0.1 & 0.2 & 0.3 \\ 0.4 & 0.5 & 0.6 \\ 0.7 & 0.8 & 0.9 \end{bmatrix}, \quad \bm{W_V^{(2)}} = \begin{bmatrix} 0.8 & 0.7 & 0.6 \\ 0.5 & 0.4 & 0.3 \\ 0.2 & 0.1 & 0.9 \end{bmatrix}.$$

   Ta dùng công thức dưới đây để tính các ma trận ($\mathbf{Q}$), ($\mathbf{K}$), ($\mathbf{V}$) cho cho Head 1: $\mathbf{Q}^{(1)} = \mathbf{Z'}_0 \cdot \mathbf{W_Q}^{(1)}, \quad \mathbf{K}^{(1)} = \mathbf{Z'}_0 \cdot \mathbf{W_K}^{(1)}, \quad \mathbf{V}^{(1)} = \mathbf{Z'}_0 \cdot \mathbf{W_V}^{(1)}$. Tương tự cho Head 2: $\mathbf{Q}^{(2)} = \mathbf{Z'}_0 \cdot \mathbf{W_Q}^{(2)}, \quad \mathbf{K}^{(2)} = \mathbf{Z'}_0 \cdot \mathbf{W_K}^{(2)}, \quad \mathbf{V}^{(2)} = \mathbf{Z'}_0 \cdot \mathbf{W_V}^{(2)}$.

   Head 1:

   $$\bm{Q^{(1)}} = \begin{bmatrix} 0.2449 & 0.2449 & 0.2449 \\ 0.2449 & 0.2449 & 0.2449 \\ 0.2449 & 0.2449 & 0.2449 \\ 0.2449 & 0.2449 & 0.2449 \end{bmatrix}, \quad \bm{K^{(1)}} = \bm{Q^{(1)}}, \quad \bm{V^{(1)}} = \bm{Q^{(1)}}.$$

   Head 2:

   $$\bm{Q^{(2)}} = \begin{bmatrix} 0.2449 & 0.2449 & 0.2449 \\ 0.2449 & 0.2449 & 0.2449 \\ 0.2449 & 0.2449 & 0.2449 \\ 0.2449 & 0.2449 & 0.2449 \end{bmatrix}, \quad \bm{K^{(2)}} = \bm{Q^{(2)}}, \quad \bm{V^{(2)}} = \bm{Q^{(2)}}.$$

   $Q_1 = K_1 = V_1$ và $Q_2 = K_2 = V_2$ có giá trị giống nhau nguyên nhân là do dữ liệu đầu vào $\mathbf{Z'}_0$ (sau chuẩn hóa) đồng nhất và trong các ma trận $\mathbf{W_Q}$, $\mathbf{W_K}$, $\mathbf{W_V}$ không khác biệt đủ để tạo ra sự biến đổi đáng kể. Tuy nhiên đây chỉ là bài toán kiểm thử (toy example) nên không gây ra vấn đề lớn. Cần lưu ý là trong thực tế, khi dữ liệu và trọng số được học từ quá trình huấn luyện, $Q, K, V$ sẽ khác nhau, giúp đảm bảo tính hiệu quả của Multi-Head Attention.

2. Tính Attention Scores và Outputs:

   Ta có công thức tính Attention:

   $$\text{Attention}(\bm{Q, K, V}) = \text{Softmax}\left(\frac{\bm{Q} \cdot \bm{K}^\top}{\sqrt{D_k}}\right) \cdot \bm{V}.$$

   Với $D_k = 3, \sqrt{D_k} = 1.732$.

   Ta tính Attention Score cho Head 1:

   $$\bm{S^{(1)}} = \frac{\bm{Q^{(1)}} \cdot (\bm{K^{(1)}})^\top}{\sqrt{D_k}} = \begin{bmatrix} 0.1039 & 0.1039 & 0.1039 & 0.1039 \\ 0.1039 & 0.1039 & 0.1039 & 0.1039 \\ 0.1039 & 0.1039 & 0.1039 & 0.1039 \\ 0.1039 & 0.1039 & 0.1039 & 0.1039 \end{bmatrix}.$$

   Attention Distribution với Softmax:

   $$\bm{P^{(1)}} = \text{Softmax}(\bm{S^{(1)}}) = \begin{bmatrix} 0.25 & 0.25 & 0.25 & 0.25 \\ 0.25 & 0.25 & 0.25 & 0.25 \\ 0.25 & 0.25 & 0.25 & 0.25 \\ 0.25 & 0.25 & 0.25 & 0.25 \end{bmatrix}.$$

   Attention Output:

   $$\bm{A^{(1)}} = \bm{P^{(1)}} \cdot \bm{V^{(1)}} = \begin{bmatrix} 0.2449 & 0.2449 & 0.2449 \\ 0.2449 & 0.2449 & 0.2449 \\ 0.2449 & 0.2449 & 0.2449 \\ 0.2449 & 0.2449 & 0.2449 \end{bmatrix}.$$

   Tương tự cho Head 2.

   Kết quả Multi-Head Output:

   $$\text{MultiHead Output} = \begin{bmatrix} 0.2449 & 0.2449 & 0.2449 \\ 0.2449 & 0.2449 & 0.2449 \\ 0.2449 & 0.2449 & 0.2449 \\ 0.2449 & 0.2449 & 0.2449 \end{bmatrix}.$$

   Projection:

   $$\bm{O} = \text{MultiHead Output} \cdot \bm{W_O} = \begin{bmatrix} 10.6 & 12.2 & 13.8 \\ 15.3 & 17.7 & 20.1 \\ 28.8 & 33.6 & 38.4 \\ 33.5 & 39.1 & 44.7 \end{bmatrix}.$$

Residual Connection và Norm sau Attention:

1. Residual Connection:

   $\mathbf{Z}_1 = \mathbf{Z}_0 + \mathbf{O}$.

   $$\bm{Z_1} = \bm{Z_0} + \bm{O} = \begin{bmatrix} 10.6 & 12.2 & 13.8 \\ 15.3 & 17.7 & 20.1 \\ 28.8 & 33.6 & 38.4 \\ 33.5 & 39.1 & 44.7 \end{bmatrix} + \begin{bmatrix} 0.629 & 0.923 & 0.893 \\ 0.629 & 0.923 & 0.893 \\ 0.629 & 0.923 & 0.893 \\ 0.629 & 0.923 & 0.893 \end{bmatrix} = \begin{bmatrix} 11.229 & 13.123 & 14.693 \\ 15.929 & 18.623 & 20.993 \\ 29.429 & 34.523 & 39.293 \\ 34.129 & 40.023 & 45.593 \end{bmatrix}.$$

2. Layer Normalization:

   • Tính trung bình ($\mu_i$) và độ lệch chuẩn ($\sigma_i$) của từng hàng: $$\mu_1 = \frac{11.229 + 13.123 + 14.693}{3} = 13.015 ,$$ $$\sigma_1 = \sqrt{\frac{(11.229 - 13.015)^2 + (13.123 - 13.015)^2 + (14.693 - 13.015)^2}{3}} \approx 1.416.$$ Tính tương tự cho các hàng khác: $\mu_2 = 18.515, \sigma_2 \approx 2.069; \quad \mu_3 = 34.415, \sigma_3 \approx 4.027; \quad \mu_4 = 39.915, \sigma_4 \approx 4.681$.
   • Chuẩn hóa từng hàng: $$\bm{Z'_1[1, :]} = \frac{\bm{Z_1[1, :]} - \mu_1}{\sigma_1} = \frac{\begin{bmatrix} 11.229 & 13.123 & 14.693 \end{bmatrix} - 13.015}{1.416} = \begin{bmatrix} -1.261 & 0.076 & 1.185 \end{bmatrix}.$$ Tương tự cho $\mathbf{Z'}_1[2, :], \mathbf{Z'}_1[3, :], \mathbf{Z'}_1[4, :]$, ta được kết quả cuối cùng của $\mathbf{Z'}_1$. $$\bm{Z'_1} = \begin{bmatrix} -1.261 & 0.076 & 1.185 \\ -1.250 & 0.052 & 1.198 \\ -1.238 & 0.027 & 1.211 \\ -1.236 & 0.023 & 1.213 \end{bmatrix}, \quad \bm{Z'_1} \in \mathbb{R}^{4 \times 3}.$$

Hình 9: Ảnh minh họa luồng tính toán trong một Transformer Encoder Block được sử dụng trong Vision Transformer. Trong đó: LN = LayerNorm, MSA = Multi-head Attention, MLP = Multi-layer Perceptron.

Multi-layer Perceptron:

1. Layer 1 (Linear Layer + GELU): $\mathbf{H} = \text{GELU}(\mathbf{Z'}_1 \cdot \mathbf{W}_1 + b_1)$ Với:

   $$\bm{W_1} = \begin{bmatrix} 0.1 & 0.2 & 0.3 \\ 0.4 & 0.5 & 0.6 \\ 0.7 & 0.8 & 0.9 \end{bmatrix}, \quad {b_1} = \begin{bmatrix} 0.1 & 0.1 & 0.1 \end{bmatrix}$$

   Tính:

   $$\bm{Z'_1} \cdot \bm{W_1} = \begin{bmatrix} 0.734 & 0.734 & 0.734 \\ 0.734 & 0.734 & 0.734 \\ 0.735 & 0.735 & 0.735 \\ 0.735 & 0.735 & 0.735 \end{bmatrix}$$

   Thêm $b_1$ vào ma trận trên, ta được:

   $$\bm{Z'_1} \cdot \bm{W_1} + {b_1} = \begin{bmatrix} 0.834 & 0.834 & 0.834 \\ 0.834 & 0.834 & 0.834 \\ 0.835 & 0.835 & 0.835 \\ 0.835 & 0.835 & 0.835 \end{bmatrix}$$

   Áp dụng hàm GELU vào:

   $$\bm{H} = \begin{bmatrix} 0.665 & 0.665 & 0.665 \\ 0.666 & 0.666 & 0.666 \\ 0.666 & 0.666 & 0.666 \\ 0.666 & 0.666 & 0.666 \end{bmatrix}$$

2. Layer 2 (Linear Layer):

   Tiếp tục áp dụng phép biến đổi tuyến tính: $\mathbf{Z}_2 = \mathbf{H} \cdot \mathbf{W}_2 + b_2 + \mathbf{Z}_1$. Với:

   $$\bm{W_2} = \begin{bmatrix} 0.2 & 0.4 & 0.6 \\ 0.5 & 0.7 & 0.9 \\ 0.3 & 0.5 & 0.7 \end{bmatrix}, \quad {b_2} = \begin{bmatrix} 0.2 & 0.3 & 0.4 \end{bmatrix}$$

   Tính:

   $$\bm{H} \cdot \bm{W_2} + b_2 = \begin{bmatrix} 0.866 & 1.364 & 1.863 \\ 0.857 & 1.356 & 1.864 \\ 0.866 & 1.357 & 1.865 \\ 0.866 & 1.366 & 1.865 \end{bmatrix}$$

3. Residual Connection:

   Kết hợp với $\mathbf{Z}_1$:

   $$\mathbf{Z_2} = \mathbf{H} \cdot \mathbf{W_2} + b_2 + \bm{Z_1} = \begin{bmatrix} 12.094 & 14.487 & 16.556 \\ 16.795 & 19.988 & 22.767 \\ 30.296 & 35.887 & 41.158 \\ 34.996 & 41.389 & 47.458 \end{bmatrix}$$

Trích xuất [CLS] Token

Input của bước này là ma trận $\mathbf{Z}_2 \in \mathbb{R}^{4 \times 3}$, đầu ra của bước 5.

Trong ViT, token [CLS] được định nghĩa là hàng đầu tiên của ma trận $\mathbf{Z}_2$, ký hiệu là $\mathbf{Z}_{\text{CLS}}$. Đây là vector duy nhất đại diện cho toàn bộ thông tin từ các patch và có thể được sử dụng làm đầu vào cho bước tiếp theo - bước đưa ra kết quả dự đoán (Classification Head).

Áp dụng công thức trích xuất:

Output của bước này là vector $\mathbf{Z}_{\text{CLS}} \in \mathbb{R}^{1 \times 3}$, đại diện cho token [CLS]. Token [CLS] đóng vai trò là một đầu ra gọn nhẹ, tóm tắt toàn bộ thông tin học được từ các patch ảnh và là bước chuẩn bị cuối cùng trước khi thực hiện phân loại. Tính cô đọng của $\mathbf{Z}_{\text{CLS}}$ giúp tăng hiệu quả trong các tác vụ phân loại, đồng thời giữ lại ngữ nghĩa chính yếu từ toàn bộ ảnh đầu vào.

Hình 10: Transformer Encoder hoàn chỉnh. Bên trong bao gồm một số lượng L các Encoder Block.

Classification Head (MLP Head)

Trong bước này, token [CLS] được đưa qua một mạng MLP (Multilayer Perceptron) để thực hiện tác vụ phân loại. Mạng MLP này bao gồm hai tầng tuyến tính (linear layers) và một hàm kích hoạt phi tuyến GELU ở giữa.

Vector đầu vào là $\mathbf{Z}_{\text{CLS}} \in \mathbb{R}^{1 \times 3}$, được trích xuất từ bước 6:

7.1. Tầng tuyến tính đầu tiên: Ta có công thức như sau: $\mathbf{H} = \text{GELU}(\mathbf{Z}_{\text{CLS}} \cdot W_{\text{hidden}} + \mathbf{b}_{\text{hidden}})$ Với:

Thêm bias:

Áp dụng hàm kích hoạt GELU:

7.2. Tầng tuyến tính thứ hai: $\mathbf{O}_{\text{logits}} = \mathbf{H} \cdot \mathbf{W}_{\text{out}} + b_{\text{out}}$ Với:

Thêm bias:

7.3. Softmax để chuyển thành xác suất: $\mathbf{P}_{\text{output}} = \text{Softmax}(\mathbf{O}_{\text{logits}})$ Tính toán softmax:

Kết quả cuối cùng của bước này là vector xác suất $\mathbf{P}_{\text{output}} \in \mathbb{R}^{1 \times 2}$, đại diện cho khả năng mẫu đầu vào thuộc về từng lớp. Như vậy mạng MLP Head thực hiện chuyển đổi từ token [CLS] thành các xác suất phân loại cho từng lớp. Đây là bước cuối cùng trong mô hình Vision Transformer (ViT), nơi toàn bộ thông tin từ ảnh được chuyển thành đầu ra phục vụ các tác vụ phân loại cụ thể.

Hình 11: Từ ảnh đầu vào đến giá trị dự đoán nhận được từ ViT.

- Hết -