66B (66 tỉ tham số) là một loại mô hình ngôn ngữ lớn được huấn luyện trên lượng dữ liệu khổng lồ nhằm sinh văn bản, trả lời câu hỏi và tham gia vào các tác vụ ngôn ngữ phức tạp. Với quy mô tham số như vậy, nó có khả năng nắm bắt ngữ cảnh rộng và tạo văn bản mạch lạc.
66B thường dựa trên kiến trúc transformer, tối ưu hoá bằng cách chia sẻ trọng số và sử dụng kỹ thuật luyện tập như pretraining và fine-tuning. Quy mô 66 tỉ tham số ảnh hưởng đến khả năng mô hình nắm bắt ngữ nghĩa và khả năng tổng hợp kiến thức.
Với 66B, có thể được dùng cho tự động hoá viết nội dung, hỗ trợ khách hàng, phân tích dữ liệu văn bản và nhiều tác vụ sáng tạo. Tuy nhiên, kích thước lớn đòi hỏi phần cứng, chi phí huấn luyện và rủi ro tối ưu hoá/đảm bảo tính an toàn và trung thực của kết quả.
Phát triển 66B và các mô hình tương tự đặt ra câu hỏi về công bằng, minh bạch và tinh chỉnh nhằm giảm sai lệch. Các hướng nghiên cứu tập trung vào tối ưu hoá hiệu suất trên nguồn dữ liệu đa ngôn ngữ, giảm lượng điện năng tiêu thụ và tăng khả năng kiểm soát đầu ra.