Là một trong những đơn vị tiên phong trong việc phát triển trí tuệ nhân tạo tại Việt Nam, Zalo đã xây dựng mô hình LLM (mô hình ngôn ngữ lớn) nội địa và cho ra mắt lần đầu tiên vào năm 2023.
Những ý chính:
- Zalo đã thành công phát triển mô hình ngôn ngữ lớn (LLM) với 13 tỷ tham số bằng kỹ thuật huấn luyện từ đầu.
- TS. Nguyễn Trường Sơn, Giám đốc Khoa học Zalo AI, khẳng định mục tiêu phát triển thành công AI của riêng Việt Nam, tiếp tục tối ưu mô hình cả về lượng và chất.
- Sự phát triển LLM 13 tỷ tham số của Zalo là một bước tiến quan trọng, thể hiện năng lực tự chủ công nghệ AI của Việt Nam và mở ra nhiều cơ hội phát triển ứng dụng thông minh trong tương lai.
Với mục tiêu tự chủ công nghệ AI, đồng thời giảm phụ thuộc vào công nghệ của nước ngoài, mô hình với 13 tỷ tham số đã được Zalo phát triển bằng kỹ thuật huấn luyện từ đầu – triển khai tất cả quy trình từ khởi tạo tham số, quyết định kiến trúc mô hình tới thuật toán huấn luyện trên tập dữ liệu nhất định.
Kỹ thuật huấn luyện này giúp người Việt làm chủ và kiểm soát toàn bộ quá trình huấn luyện cũng như mô hình. Tới nay, sự ra đời của mô hình này đã đưa Việt Nam trở thành một trong số ít các quốc gia ở khu vực Đông Nam Á sở hữu LLM nội địa.
Theo báo cáo từ Grand View Research, quy mô thị trường mô hình ngôn ngữ lớn toàn cầu đã ước tính đạt 5.617 triệu USD năm 2024 và dự kiến sẽ tăng trưởng với tốc độ tăng trưởng kép hằng năm (CAGR) là 36,9% từ năm 2025 tới 2030. Trong lúc đó, thế giới cũng ngày càng quan tâm tới AI với sự chú ý tập trung nhiều vào các quốc gia có nhiều nhà phát triển mô hình AI hàng đầu như Mỹ và Trung Quốc.
Khu vực Đông Nam Á ít được quan tâm hơn nhưng cũng đang cho thấy những bước tiến mạnh mẽ. Mặc dù hạn chế về nguồn dữ liệu so với các ngôn ngữ phổ biến toàn cầu như tiếng Anh, tiếng Trung nhưng các doanh nghiệp trong khu vực đã bắt đầu nắm bắt cơ hội xây dựng các LLM của riêng mình. Cụ thể, Singapore đã cho ra mắt mô hình đầu tiên của quốc gia này mang tên SEA-LION LLM với 13% tập dữ liệu được đào tạo bằng các ngôn ngữ Đông Nam Á.
Không nằm ngoài xu thế, Việt Nam cũng đang cho thấy những bước tiến mạnh mẽ trong nỗ lực phát triển mô hình LLM của riêng mình. Không sở hữu tiềm lực như các công ty công nghệ lớn trên thế giới, giai đoạn đầu phát triển mô hình ngôn ngữ lớn của Việt Nam gặp khá nhiều khó khăn. Bên cạnh vấn đề thiếu hụt dữ liệu do tiếng Việt được xếp vào nhóm có tài nguyên dữ liệu nghèo nàn hơn hàng chục lần so với tiếng Anh hay tiếng Trung, các kỹ sư Việt cũng chưa được trang bị đầy đủ hạ tầng máy chủ cần thiết.
Trong khi đó, các công ty lớn trên thế giới đã sở hữu hàng nghìn GPU mới nhất từ Nvidia. Đặc biệt, Việt Nam cũng có những hạn chế về nguồn lực con người và kinh nghiệm huấn luyện mô hình LLM khi so sánh với các quốc gia phát triển trên thế giới.
Dù vậy, Zalo vẫn có chiến lược phát triển phù hợp giúp từng bước tháo gỡ khó khăn. Nhờ trang bị hạ tầng tính toán với 8 máy chủ DGX H100, mô hình LLM của Zalo đã được phát triển trực tiếp bằng dòng GPU mới và khan hiếm nhất của Nvidia lúc đó với hiệu suất lên đến 256 petaFLOPS (FLoating-point Operations Per Second – một petaFLOP tương đương với 10 triệu tỷ phép tính/giây).
Zalo cũng tăng cường phát triển dữ liệu tiếng Việt để bù đắp sự thiếu hụt của thị trường, đồng thời trang bị kiến thức và năng lực huấn luyện LLM cho các kỹ sư Việt thông qua hàng loạt nghiên cứu thực hiện trên các GPU dân dụng nhỏ. Từ đó tạo nền tảng sẵn sàng ngay khi sở hữu hạ tầng tính toán lớn hơn sau này.
Định hướng phát triển đúng đắn đã giúp Zalo phát triển thành công mô hình ngôn ngữ lớn với 7 tỷ tham số tập trung vào tiếng Việt chỉ sau 6 tháng huấn luyện vào năm 2023, đạt 150% năng lực so với GPT3.5 của OpenAI theo đánh giá của VMLU – Nền tảng đánh giá và xếp hạng năng lực tiếng Việt của các LLM (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models).
Tới hết năm 2024, mô hình ngôn ngữ lớn của Zalo đã vươn lên vị trí số 2 trên bảng xếp hạng các mô hình được huấn luyện từ đầu của VMLU. Cụ thể, mô hình chỉ xếp sau Llama-3-70B của Meta, chính thức vượt qua các tên tuổi lớn như GPT-4 (OpenAI), gemma-2-9b-it (Google), microsoft/Phi-3-small-128k-instruct (Microsoft).
TS. Nguyễn Trường Sơn, Giám đốc Khoa học tại Zalo AI, cho biết: “Mặc dù xuất phát điểm gặp nhiều khó khăn so với các công ty lớn trên thế giới nhưng Zalo vẫn quyết định nhập cuộc chơi từ sớm với mục tiêu phát triển thành công mô hình AI của riêng Việt Nam. Chúng tôi đã tham vấn kinh nghiệm từ các nhà nghiên cứu, kỹ sư tại nhiều viện nghiên cứu hàng đầu trên thế giới để có chiến lược phát triển phù hợp. Những dấu mốc thành công tới hiện tại là động lực để các kỹ sư Zalo tiếp tục tối ưu mô hình lớn hơn về lượng và tốt hơn về chất.”
Những dấu mốc thành công trong việc nghiên cứu và huấn luyện mô hình đã tạo động lực cho các kỹ sư của Zalo đưa mô hình LLM vào phát triển các ứng dụng hữu ích cho người dùng Việt, tiêu biểu phải kể đến Trợ lý hỏi đáp tổng hợp Kiki Info đang được vận hành dưới dạng một OA – Official Account (Tài khoản chính thức) trên Zalo. Theo thống kê của Zalo, trợ lý Kiki Info đã có tới 1 triệu lượt người dùng truy cập vào tài khoản OA trên Zalo chỉ trong chưa đầy 2 tháng.
Trong nỗ lực góp sức phát triển nền công nghệ của đất nước, Zalo không chỉ định hướng làm chủ công nghệ tiên tiến nói chung và AI nói riêng mà còn đồng hành cùng cộng đồng công nghệ Việt thúc đẩy kiến tạo sản phẩm công nghệ AI của người Việt phục vụ cho người Việt.
Chia sẻ niềm tin về tương lai của công nghệ Việt Nam, Nhà sáng lập Zalo – Vương Quang Khải khẳng định: “Vẻ đẹp của Trí tuệ nhân tạo cũng đến từ những tác động tích cực lên cuộc sống hàng ngày của con người. Chúng ta ở đây để chia sẻ thành công, khát vọng và truyền cảm hứng mới trong việc phát triển công nghệ giúp thay đổi cuộc sống.
Về mặt phát triển ứng dụng AI, tôi khá lạc quan và có niềm tin rằng người Việt Nam mình không thua kém ai, không chỉ làm ứng dụng nội địa mà còn xuất khẩu ra thế giới” – Nhà sáng lập Zalo cho biết thêm.
