Sáng 16/12, tại AI Summit 2023, Zalo bật mí đến công chúng về mô hình ngôn ngữ lớn (Large Language Model – LLM) đang được phát triển. Giải pháp hướng tới việc xây dựng ứng dụng AI tạo sinh văn bản tương thích và phục vụ tốt hơn cho người Việt Nam.
Mô hình ngôn ngữ lớn tiếng Việt này đã được Zalo bắt đầu xây dựng từ đầu năm và đã được ứng dụng để tạo ra hàng triệu bài thơ nhân dịp 8/3 và 20/10. Tại Zalo AI Summit 2023, Zalo lần đầu trình diễn mô hình ngôn ngữ lớn là phiên bản đang trong giai đoạn phát triển, có khả năng hiểu và trả lời các câu hỏi về nhiều lĩnh vực khác nhau bằng tiếng Việt.
Để thử thách khả năng của mô hình ngôn ngữ mới, mô hình được tích hợp vào Kiki để thi đấu kiến thức qua game Kahoot. Cùng tham gia trò chơi là các giải pháp ra mắt trước đó như GPT-3.5, GPT-4, Llama22, QWen và một LLM Việt Nam ra mắt gần đây và cả người thật. Bộ đề thi gồm 20 câu hỏi ở nhiều lĩnh vực, được đặt ra bởi anh Trần Mạnh Hiệp, Quản trị viên diễn đàn Tinh Tế và không chia sẻ trước với Zalo.
Trong quá trình thử thách, mô hình ngôn ngữ lớn của Zalo thể hiện khá tốt ở các câu hỏi thường thức, kiến thức chung. Kiki cùng GPT-4 là hai công cụ trả lời đúng câu hỏi liên quan đến ca khúc Wish you were here của ban nhạc Pink Floyd. “Mình không nghĩ chatbot AI sẽ trả lời đúng câu này. Đây là một chủ đề ngẫu nhiên liên quan đến sở thích của mình, phải tìm hiểu mới biết được”, anh Mạnh Hiệp bình luận.
Một số câu hỏi khác liên quan đến chủ đề trong nước như nguồn gốc của rượu Bàu Đá, Kiki và GPT-4 cũng trả lời chính xác. Trong khi đó, các LLM khác lại gặp khó khăn. Đồng thời, cả 6 AI tham gia thử thách đều không vượt qua các câu hỏi về tốc độ tối đa trong đô thị hay con giáp của năm 2024.
Kết thúc thử thách, các mô hình ngôn ngữ lớn đều không thể vượt qua người chơi thật với bộ câu hỏi bằng tiếng Việt. Tuy nhiên, GPT-4 và Kiki là hai công cụ có sự thể hiện tốt. Mô hình ngôn ngữ lớn của Zalo AI tỏ ra không thua kém những LLM khác trên thế giới.
Về việc các mô hình ngôn ngữ, kể cả GPT4 đều chưa thể vượt qua trí tuệ của người thật, anh Hiệp nhận định: “Các mô hình AI rất tuyệt vời nhưng vẫn còn khoảng cách lớn để phát triển về cả ngôn ngữ và nội dung”.
Anh Trần Mạnh Hiệp – Quản trị viên Tinhte.vn cũng thể hiện sự bất ngờ với khả năng xử lý và đưa ra câu trả lời của Kiki, bởi thời gian phát triển sản phẩm chưa lâu. “Tôi cho rằng mô hình ngôn ngữ lớn của Zalo có ưu thế tốt nhờ công cụ được huấn luyện trên kho dữ liệu tiếng Việt”, anh Hiệp nói thêm.
Theo TS Nguyễn Trường Sơn, Giám đốc Khoa học tại Zalo AI, dù có hàng chục nghìn mô hình ngôn ngữ lớn đang được phát triển, nhưng số sản phẩm hỗ trợ tốt cho tiếng Việt rất hiếm. Trong khi đó, việc phụ thuộc vào các giải pháp quốc tế cũng tiềm ẩn nhiều nguy cơ về bảo mật hay tốn kém chi phí do ngôn ngữ không tối ưu.
Phiên bản Kiki tham gia Kahoot được phát triển trên mô hình ngôn ngữ lớn của Zalo AI. Mô hình dựa theo kiến trúc transformer, được huấn luyện bằng các kỹ thuật như Flash Attention với dữ liệu hướng dẫn chất lượng cao. Mô hình của Zalo AI đang hướng đến mục tiêu xử lý đa tác vụ, như: dịch văn bản, sáng tạo và viết nội dung, trích xuất thông tin trong văn bản và trả lời câu hỏi…
Hiện Zalo đang phát triển mô hình ngôn ngữ lớn của mình trên nhiều kích cỡ mô hình khác nhau, từ 1B đến 30B tham số. Phiên bản được được trình diễn tại Zalo AI Summit được huấn luyện trên mô hình 7B tham số.
“Đây là mô hình nền tảng được Zalo xây dựng. Sau đó, từng ứng dụng của LLM này sẽ được tinh chỉnh cho phù hợp với mục đích sử dụng trong tương lai”, ông Sơn chia sẻ.