Zalo chinh phục khát vọng phát triển trí tuệ nhân tạo, làm chủ và nội địa hoá mô hình ngôn ngữ lớn tiếng Việt
Không chỉ dừng lại ở nghiên cứu, Zalo đang từng bước đưa công nghệ từ phòng thí nghiệm ra cuộc sống bằng việc thương mại hóa và phổ cập hóa các sản phẩm ứng dụng từ LLM.
Những ý chính:
- Zalo đã lựa chọn con đường khó khăn là tự huấn luyện mô hình LLM từ đầu (from-scratch model) thay vì tinh chỉnh các mô hình nước ngoài, với khát vọng làm chủ công nghệ LLM bằng tiếng mẹ đẻ.
- Nhờ chiến lược phát triển linh hoạt và tinh thần vượt khó, Zalo đã rút ngắn thời gian phát triển mô hình LLM của mình từ 18 tháng xuống còn 6 tháng.
- Thành công của Zalo không chỉ là bước tiến của một doanh nghiệp mà còn minh chứng cho năng lực nội tại và tinh thần bền bỉ của đội ngũ công nghệ Việt Nam.
Phát triển các mô hình ngôn ngữ lớn (LLM) là một thách thức với nhiều công ty công nghệ trong và ngoài nước. Trong khi nhiều doanh nghiệp Việt Nam lựa chọn fine-tuned model (kỹ thuật tinh chỉnh mô hình) sẵn có của nước ngoài để đi tắt, đón đầu quá trình huấn luyện LLM, Zalo đã lựa chọn con đường gian nan hơn: Tự huấn luyện mô hình từ đầu (from-scratch model). Quyết định đó không phải để chạy đua với người khổng lồ mà để hiện thực hóa khát vọng của chính người Việt: làm chủ mô hình LLM bằng tiếng mẹ đẻ.
Sự bùng nổ của trí tuệ nhân tạo tạo sinh (Generative AI) đã làm thay đổi hoàn toàn bức tranh công nghệ toàn cầu. Từ khi OpenAI ra mắt ChatGPT vào cuối năm 2022, hàng loạt mô hình LLM tương tự liên tục xuất hiện, ứng dụng trong nhiều lĩnh vực như y tế, giáo dục, tài chính, pháp lý… Cuộc đua trở nên gay gắt, không chỉ ở quy mô doanh nghiệp mà còn ở quy mô quốc gia về năng lực huấn luyện, hạ tầng tính toán và dữ liệu.
Các công ty lớn như OpenAI, Google, Meta hay Microsoft với tiềm lực tài chính và điều kiện thuận lợi đều đã “nhanh chân” đầu tư hàng tỷ USD để sở hữu hàng nghìn GPU cao cấp như Nvidia H100 – nhân tố cốt lõi cho việc huấn luyện các mô hình LLM. Giá cổ phiếu Nvidia tăng chóng mặt trong giai đoạn đó, phản ánh cơn khát hạ tầng của toàn thế giới.
Ngoài vấn đề chi phí, doanh nghiệp công nghệ ở các nước đang phát triển còn phải đối mặt với giới hạn về xuất nhập khẩu thiết bị chip AI từ Mỹ. Điều này dẫn đến thiếu thiết bị huấn luyện và “chậm chân” hơn so với các gã khổng lồ công nghệ. Với khát vọng nội địa, Zalo cũng không nằm ngoài vòng xoáy đó.
Thách thức của Zalo
Lựa chọn con đường tự huấn luyện mô hình LLM từ đầu (from-scratch model), Zalo phải tạo dựng từ con số 0 – từ dữ liệu, kiến trúc mô hình đến toàn bộ quá trình huấn luyện, với nhiều thách thức. Về dữ liệu, những bài toán học máy trước đây đã đòi hỏi lượng dữ liệu huấn luyện lớn nhưng với các mô hình ngôn ngữ lớn, đây là lượng dữ liệu khổng lồ. Để có một mô hình đủ tốt, hệ thống LLM đòi hỏi hàng chục, thậm chí hàng trăm tỷ token văn bản đầu vào. Điều này gây khó khăn với các nhà phát triển LLM của Việt Nam.
Dù gặp nhiều trở ngại ở ba yếu tố chính gồm hạ tầng thiết bị, dữ liệu và trình độ huấn luyện, các kỹ sư Việt Nam đã chủ động tìm giải pháp vượt khó. Điều này minh chứng cho tinh thần và sức mạnh ý chí của người Việt trong các hoàn cảnh gian nan mà cụ thể ở đây là chinh phục thách thức trong quá trình phát triển LLM cho người Việt.
Muốn huấn luyện LLM, các kỹ sư cần phải có hạ tầng phù hợp. Nhưng tại thời điểm đó, những GPU như H100 của Nvidia gần như là “hàng hiếm toàn cầu”. Trong khi đó, các hãng lớn đã đặt trước cả năm và trả hàng triệu USD để sở hữu. Tại Việt Nam, Zalo cũng đã cố gắng mua 8 máy chủ DGX H100 nhưng không dễ dàng, phải chờ từng đợt bàn giao của nhà sản xuất.
Trong hoàn cảnh chưa có GPU của Nvidia, các kỹ sư Việt Nam đã phải linh hoạt dùng tạm GPU dân dụng để thực nghiệm trên từng dòng mã, chạy từng mô hình nhỏ. Thay vì chờ đợi, các kỹ sư chủ động chuẩn bị để khi sở hữu thiết bị hiện đại, mọi thứ đã sẵn sàng.
Về mặt dữ liệu, thay vì trông chờ vào nguồn tài nguyên sẵn có, Zalo đầu tư xây dựng kho dữ liệu chất lượng cao riêng cho tiếng Việt, nhằm bù đắp sự thiếu hụt nghiêm trọng so với tiếng Anh và tiếng Trung.
“Chúng tôi đã lường trước những khó khăn và vẫn quyết định gia nhập cuộc chơi từ sớm. Chúng tôi không cạnh tranh trực tiếp với các “ông lớn” mà chọn thị trường ngách, nơi chúng tôi có thể làm tốt hơn. Khát vọng của chúng tôi là xây dựng một mô hình mà người Việt làm chủ hoàn toàn – từ dữ liệu đến thuật toán” – Tiến sĩ Nguyễn Trường Sơn, Giám đốc Khoa học tại Zalo AI chia sẻ.
Nhờ chiến lược phát triển linh hoạt, Zalo đã rút ngắn thời gian phát triển thành công mô hình ngôn ngữ lớn của mình từ 18 tháng dự kiến xuống còn 6 tháng. Cuối năm 2023, mô hình ngôn ngữ lớn tiếng Việt của Zalo đã chính thức được ra mắt tại sự kiện quy tụ giới công nghệ và AI hàng đầu của Việt Nam – Zalo AI Summit. Tại đây, mô hình LLM của Zalo đã có màn chào sân thông qua thử thách Kahoot do Tinhte.vn đặt ra và bất ngờ vượt lên GPT 3.5, chỉ xếp sau GPT4 – mô hình LLM được đánh giá là mạnh nhất thế giới ở thời điểm đó.
Trên nền tảng đánh giá VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models), mô hình của Zalo đạt năng lực gấp 1.5 lần GPT-3.5 của OpenAI.
Tới cuối năm 2024, mô hình còn vượt qua những tên tuổi lớn như GPT-4 (OpenAI), Gemma-2-9B (Google) hay Phi-3-small (Microsoft), chỉ đứng sau LLaMA-3-70B của Meta về năng lực xử lý tiếng Việt trên bảng xếp hạng của VMLU.
Đưa LLM từ phòng nghiên cứu tới thực tiễn
Không chỉ dừng lại ở nghiên cứu, Zalo đang từng bước đưa công nghệ từ phòng thí nghiệm ra cuộc sống bằng việc thương mại hóa và phổ cập hóa các sản phẩm ứng dụng từ LLM.
Đầu năm 2025, trợ lý hỏi đáp tổng hợp Kiki Info – được vận hành như một tài khoản chính thức (Official Account) trên nền tảng Zalo – đã thu hút hơn 1 triệu lượt người dùng chỉ trong chưa đầy 2 tháng. Một ứng dụng khác là Thiệp AI cũng đạt con số ấn tượng 15 triệu thiệp được tạo và gửi đi chỉ trong 2 tháng.
Hành trình của Zalo không chỉ là chuyện một công ty muốn phát triển công nghệ. Đó là mảnh ghép trong bức tranh lớn hơn – nơi Việt Nam đang quyết liệt đẩy mạnh đổi mới sáng tạo, với những chủ trương từ Nghị quyết 57-NQ/TW về phát triển khoa học, công nghệ và chuyển đổi số quốc gia. Trong đó, đặc biệt nhấn mạnh đến lĩnh vực trí tuệ nhân tạo.
Sự xuất hiện và phát triển nhanh chóng của LLM tiếng Việt từ Zalo không chỉ là bước tiến công nghệ của một doanh nghiệp, mà còn minh chứng cho năng lực nội tại và tinh thần bền bỉ của đội ngũ công nghệ Việt Nam.
Với kỹ thuật “from-scratch” – huấn luyện mô hình từ con số 0, Zalo lựa chọn con đường dài, nhưng giúp Việt Nam thực sự làm chủ AI. Không chỉ về kết quả, mà còn về toàn bộ quy trình từ kiến trúc mô hình, dữ liệu, thuật toán, đến sản phẩm ứng dụng. Thành công của Zalo cũng đã giúp Việt Nam trở thành một trong số ít quốc gia Đông Nam Á sở hữu mô hình LLM nội địa – một cột mốc mang tính chiến lược trong bối cảnh cạnh tranh công nghệ toàn cầu ngày càng gay gắt.
Trên hành trình dài phía trước, Zalo không chỉ dừng lại ở một mô hình hay một số sản phẩm mà còn tiếp tục hoàn thiện mô hình để vừa phục vụ người dùng vừa tạo ra một nền tảng AI Việt Nam có chất lượng cạnh tranh: “Hành trình phát triển AI của Zalo vẫn còn dài. Chúng tôi sẽ tiếp tục tối ưu mô hình theo cả chiều rộng và chiều sâu, đồng thời đẩy mạnh tính ứng dụng thực tiễn. Mục tiêu cuối cùng là tạo ra những sản phẩm AI chất lượng phục vụ thiết thực cho người Việt.” – Ông Sơn cho biết thêm.
Việc Zalo phát triển thành công LLM tiếng Việt không chỉ là bước đi đột phá của một doanh nghiệp, mà còn mở ra tương lai tiềm năng cho trí tuệ nhân tạo Việt Nam. Sự bền bỉ và khát vọng của người Việt đã dẫn dắt hành trình chạm đến những kết quả xứng đáng. Tương lai AI Việt Nam sẽ không chỉ có một “Zalo”, mà còn có cả một thế hệ kỹ sư dũng cảm tiếp bước, kế thừa và chinh phục thế giới công nghệ.
