BẮC KINH, TRUNG QUỐC – Media OutReach Newswire – Phancy Group Co., Ltd. (có cổ phiếu giao dịch tại Sở giao dịch chứng khoán Hồng Kông, với mã: 6682) – nền tảng dịch vụ đám mây trí tuệ nhân tạo (AI) toàn diện dành cho doanh nghiệp, cùng với RiseUnion Technology Co., Ltd. (“RiseUnion”) đã chính thức ra mắt ModelSphere – nền tảng triển khai AI toàn diện, đạt chuẩn vận hành thực tế (production-grade).
Là nền tảng mã nguồn mở miễn phí dành cho doanh nghiệp, ModelSphere tích hợp quản lý tài nguyên điện toán, triển khai mô hình và tối ưu hóa thời gian chạy vào một hệ thống duy nhất. Giải pháp này giúp giảm bớt rào cản trong quá trình triển khai và vận hành, hỗ trợ doanh nghiệp chuyển đổi năng lực tính toán thành các dịch vụ AI an toàn, ổn định và sẵn sàng cho các ứng dụng kinh doanh thực tế.
Khi các mô hình lớn dần được triển khai thương mại trên quy mô rộng, các doanh nghiệp thường đối mặt với những thách thức như: hiệu suất sử dụng tài nguyên thấp, hệ sinh thái chip phân mảnh, rào cản triển khai cao và khó khăn trong việc tinh chỉnh mô hình trong môi trường vận hành thực tế. ModelSphere hướng tới việc hợp nhất các khâu điều phối tài nguyên, triển khai mô hình và tối ưu hóa hiệu suất vào một quy trình quản lý thống nhất. Nhờ đó, doanh nghiệp có thể cắt giảm đáng kể các công việc trùng lặp liên quan đến thích ứng hệ thống cấp thấp, lập lịch tài nguyên và các hoạt động vận hành thường nhật.
Phancy tin rằng, các doanh nghiệp nên có khả năng đưa các mô hình lớn vào ứng dụng thực tế mà không cần sở hữu chuyên môn sâu rộng về các lĩnh vực phức tạp như biên dịch trình điều khiển (driver) hay thích ứng phần cứng. ModelSphere được thiết kế để giải quyết khoảng trống này, cho phép doanh nghiệp tích hợp đa dạng các mô hình lớn mã nguồn mở vào quy trình kinh doanh cốt lõi, đồng thời giúp đội ngũ kỹ thuật tập trung vào phát triển ứng dụng và đáp ứng các nhu cầu kinh doanh.
Bốn ưu điểm cốt lõi của ModelSphere:
- Triển khai đơn giản và dịch vụ mô hình ổn định: ModelSphere cung cấp bảng điều khiển trực quan cùng các tính năng triển khai được xây dựng sẵn, giúp giảm thiểu lượng mã cấu hình môi trường mà các nhà phát triển cần viết. Điều này hỗ trợ thiết lập nhanh chóng các dịch vụ suy luận (inference services) cho các mô hình lớn, đồng thời đơn giản hóa quá trình triển khai trên nhiều cụm chip khác nhau. Với các tính năng cấp doanh nghiệp được tích hợp sẵn, bao gồm tự động mở rộng quy mô (elastic scaling), triển khai tách biệt giữa giai đoạn tiền nạp và giải mã (prefill-decode disaggregation), cơ chế lưu trữ KV (KV caching) 3 tầng, cân bằng tải với tính sẵn sàng cao và khả năng tự động khôi phục luồng sau khi dịch vụ bị gián đoạn.
- Tối ưu hóa tự động liên tục để đạt hiệu suất cao hơn: Chiến lược lập lịch mô hình thông minh AutoTune được tích hợp sẵn trong nền tảng, kết hợp với cơ chế lập lịch cân bằng tải thích ứng tận dụng khả năng tăng tốc phần cứng, giúp cải thiện năng lực xử lý yêu cầu và rút ngắn thời gian tạo token đầu tiên, đồng thời giảm chi phí suy luận trên mỗi token. Tính năng AutoTune tích hợp giúp tăng lưu lượng xử lý đỉnh (peak throughput) lên khoảng 285% so với mức cơ sở, nâng cao hiệu suất tổng thể lên gần gấp bốn lần và khai thác tối đa sức mạnh tính toán hiện có.
- Quản lý thống nhất các loại chip đa dạng mà không cần điều chỉnh lại nhiều lần: Được tích hợp cùng công cụ suy luận EngineX, ModelSphere hỗ trợ và tối ưu hóa chuyên sâu cho nhiều loại bộ tăng tốc AI khác nhau. Nền tảng này cho phép lập lịch thống nhất và linh hoạt cho tất cả các tài nguyên tính toán, bao gồm Huawei Ascend, Iluvatar CoreX, Moore Threads và Hygon DCU giúp người dùng không cần phải viết lại mã cấp thấp cho từng loại chip riêng biệt.
- Tối ưu hóa liên tục cho các mô hình phổ biến và triển khai nhanh chóng: Đội ngũ ModelSphere liên tục theo sát các cập nhật từ cộng đồng mã nguồn mở, đồng thời đã thực hiện điều chỉnh và tối ưu hóa nền tảng cho các mô hình hàng đầu như DeepSeek-V4/V4-Flash, Qwen, Kimi, MiniMax và GLM. Các mô hình mới có thể được triển khai nhanh chóng ngay sau khi ra mắt và tinh chỉnh để đạt hiệu suất cấp độ sản xuất (production-grade), hỗ trợ doanh nghiệp ứng dụng các mô hình tiên tiến nhất vào các tình huống kinh doanh thực tế.
Vị trí của ModelSphere trong hệ sinh thái AI
Về mặt kỹ thuật, ModelSphere vận hành song hành cùng các công cụ suy luận như vLLM và SGLang, trong khi các công cụ suy luận tập trung cải thiện hiệu suất tính toán trên từng máy chủ riêng lẻ, thì ModelSphere đảm nhận vai trò quản lý và tối ưu hóa ở cấp độ kiến trúc cụm (cluster). Các chức năng này bao gồm: định tuyến yêu cầu dựa trên trạng thái tải và bộ nhớ đệm (cache), thiết lập vùng nhớ đệm KV (KV cache pool) thống nhất, tự động mở rộng quy mô dựa trên chất lượng dịch vụ (QoS), tự động khôi phục luồng xử lý sau khi dịch vụ bị gián đoạn, tinh chỉnh hiệu suất tự động dựa trên dữ liệu thực tế từ môi trường sản xuất, cũng như giám sát thời gian chạy và quản lý dịch vụ. Tất cả các yếu tố này phối hợp với nhau để đảm bảo hiệu suất cao và tính sẵn sàng cao trong các môi trường vận hành thực tế.
Thông qua việc chuyển sang mã nguồn mở, ModelSphere mang năng lực kỹ thuật của Phancy trong lĩnh vực triển khai và tối ưu hóa các mô hình lớn đến với nhiều doanh nghiệp và nhà phát triển hơn; đồng thời kết nối các đối tác trong ngành để cùng mở rộng khả năng hỗ trợ cho nhiều loại chip và mô hình khác nhau. Điều này sẽ giúp giảm bớt các rào cản trong việc thích ứng phần cứng, hạ thấp ngưỡng gia nhập để áp dụng các mô hình lớn, đồng thời hỗ trợ doanh nghiệp tận dụng tối đa các tài nguyên tính toán hiện có, từ đó khai thác hiệu quả tiềm năng thương mại của hệ thống tính toán không đồng nhất (heterogeneous computing).
ModelSphere hiện đã có mặt trên GitHub tại địa chỉ https://github.com/modelsphere/modelsphere theo giấy phép Apache 2.0.
Hashtag: #Phancy #ModelSphere #AI
Thông tin về Phancy Group (Tập đoàn Phancy)
Tập đoàn Phancy (có cổ phiếu giao dịch tại Sở giao dịch chứng khoán Hồng Kông, với mã: 6682) là nền tảng dịch vụ đám mây AI toàn diện hàng đầu, cung cấp các giải pháp toàn diện cho kỷ nguyên AI 2.0. Các sản phẩm của Tập đoàn Phancy bao gồm SageAIOS, HAMi vGPU và ModelHub XC, cung cấp cơ sở hạ tầng AI hiệu quả và có khả năng mở rộng với các chức năng từ đầu đến cuối. Tập đoàn Phancy cung cấp một giải pháp hoàn chỉnh từ quản lý và tối ưu hóa tài nguyên tính toán không đồng nhất đến triển khai các mô hình tác nhân thông minh. Những giải pháp này thúc đẩy chuyển đổi số trên nhiều ngành, lĩnh vực, hỗ trợ tầm nhìn của công ty về việc xây dựng một “Nhà máy Token” quy mô lớn và hiệu quả.
Với sứ mệnh “AI dành cho mọi người” và định vị là “Người dẫn đường trong lĩnh vực AI”, Tập đoàn Phancy cam kết trở thành nhà lãnh đạo tầm cỡ toàn cầu trong lĩnh vực AI đa năng.
Nguồn phát hành hoàn toàn chịu trách nhiệm về nội dung của thông báo này.
