Xử lý ngôn ngữ tự nhiên (NLP)

Danh sách đầy đủ các thuật toán trong nhóm (Tổng: 3)

Xử lý ngôn ngữ tự nhiên (NLP)

BPE (Byte-Pair Encoding Tokenization)

Thời gian (Time) O(N log N)
Không gian (Space) O(Vocabulary)

Mô tả nguyên lý

Thuật toán phân tách từ thành các subword token dựa trên tần suất cặp ký tự liền kề xuất hiện.

Cài đặt mẫu (Implementation)

// Lặp lại việc gộp cặp ký tự xuất hiện thường xuyên nhất thành một token mới trong từ điển.
Xử lý ngôn ngữ tự nhiên (NLP)

TF-IDF (Term Frequency-Inverse Document Frequency)

Thời gian (Time) O(N * Terms)
Không gian (Space) O(Vocabulary)

Mô tả nguyên lý

Đánh giá tầm quan trọng của một từ trong văn bản tương đối so với toàn bộ tập tài liệu.

Cài đặt mẫu (Implementation)

// Tính tích số lần xuất hiện từ (TF) nhân với log tỷ lệ nghịch tần suất xuất hiện tài liệu chứa từ (IDF).
Xử lý ngôn ngữ tự nhiên (NLP)

Word2Vec (Skip-gram & CBOW)

Thời gian (Time) O(Epochs * Vocab * Dim)
Không gian (Space) O(Vocab * Dim)

Mô tả nguyên lý

Học biểu diễn từ thành các véc-tơ không gian liên tục giữ gìn ý nghĩa ngữ nghĩa.

Cài đặt mẫu (Implementation)

// Huấn luyện mạng nơ-ron nông dự đoán từ ngữ cảnh xung quanh (skip-gram) hoặc từ mục tiêu (CBOW).