Xử lý ngôn ngữ tự nhiên (NLP)
BPE (Byte-Pair Encoding Tokenization)
ID: #209
Xem trên trang chủ
Thời gian (Time)
O(N log N)
Không gian (Space)
O(Vocabulary)
Mô tả nguyên lý
Thuật toán phân tách từ thành các subword token dựa trên tần suất cặp ký tự liền kề xuất hiện.
Cài đặt mẫu (Implementation)
// Lặp lại việc gộp cặp ký tự xuất hiện thường xuyên nhất thành một token mới trong từ điển.
Xử lý ngôn ngữ tự nhiên (NLP)
TF-IDF (Term Frequency-Inverse Document Frequency)
ID: #206
Xem trên trang chủ
Thời gian (Time)
O(N * Terms)
Không gian (Space)
O(Vocabulary)
Mô tả nguyên lý
Đánh giá tầm quan trọng của một từ trong văn bản tương đối so với toàn bộ tập tài liệu.
Cài đặt mẫu (Implementation)
// Tính tích số lần xuất hiện từ (TF) nhân với log tỷ lệ nghịch tần suất xuất hiện tài liệu chứa từ (IDF).
Xử lý ngôn ngữ tự nhiên (NLP)
Word2Vec (Skip-gram & CBOW)
ID: #207
Xem trên trang chủ
Thời gian (Time)
O(Epochs * Vocab * Dim)
Không gian (Space)
O(Vocab * Dim)
Mô tả nguyên lý
Học biểu diễn từ thành các véc-tơ không gian liên tục giữ gìn ý nghĩa ngữ nghĩa.
Cài đặt mẫu (Implementation)
// Huấn luyện mạng nơ-ron nông dự đoán từ ngữ cảnh xung quanh (skip-gram) hoặc từ mục tiêu (CBOW).