Xu hướng mới trong AI: Phát triển mô hình không cần trung tâm dữ liệu

Trong thời đại công nghệ số hiện nay, trí tuệ nhân tạo (AI) đang trở thành một phần không thể thiếu trong nhiều lĩnh vực. Một trong những xu hướng nổi bật gần đây là việc phát triển các mô hình AI tiên tiến mà không cần phải dựa vào các trung tâm dữ liệu lớn và tốn kém. Điều này không chỉ giúp tiết kiệm chi phí mà còn mở ra nhiều cơ hội cho các tổ chức nhỏ và các quốc gia đang phát triển.

Hai công ty khởi nghiệp đang đi đầu trong xu hướng này là Flower AI và Vana. Họ đã hợp tác để phát triển một mô hình mới mang tên Collective-1, sử dụng công nghệ phân tán để đào tạo mô hình ngôn ngữ lớn (LLM) trên hàng trăm máy tính kết nối qua internet. Flower AI đã phát triển các kỹ thuật cho phép việc đào tạo diễn ra mà không cần tập trung tài nguyên tính toán, trong khi Vana cung cấp nguồn dữ liệu từ các nền tảng như X, Reddit và Telegram. Mặc dù Collective-1 chỉ có 7 tỷ tham số, nhỏ hơn nhiều so với các mô hình hiện đại khác, nhưng nó hứa hẹn sẽ mở rộng quy mô trong tương lai.

Nic Lane, một nhà khoa học máy tính tại Đại học Cambridge và đồng sáng lập Flower AI, cho biết phương pháp phân tán này có tiềm năng lớn để phát triển các mô hình AI mạnh mẽ hơn. Ông cũng cho biết Flower AI đang trong quá trình phát triển một mô hình với 30 tỷ tham số và có kế hoạch cho một mô hình khác với 100 tỷ tham số vào cuối năm nay. Điều này có thể thay đổi cách mà mọi người nhìn nhận về AI và mở ra nhiều cơ hội mới cho các nhà nghiên cứu và phát triển.

Phương pháp phân tán trong đào tạo AI

Đào tạo AI phân tán không chỉ đơn thuần là việc chia nhỏ các phép tính mà còn là một cách tiếp cận hoàn toàn mới trong việc xây dựng các hệ thống AI mạnh mẽ. Thay vì phải tập trung mọi thứ trong một trung tâm dữ liệu lớn, phương pháp này cho phép các phép toán được thực hiện trên nhiều thiết bị khác nhau, kết nối qua internet. Điều này không chỉ giúp tiết kiệm chi phí mà còn tạo ra sự linh hoạt trong việc sử dụng tài nguyên.

Các công ty lớn như Google cũng đang nghiên cứu các phương pháp học phân tán. Họ đã phát triển một sơ đồ mới gọi là DIstributed PAth COmposition (DiPaCo) để cải thiện hiệu quả của việc học phân tán. Để xây dựng Collective-1, Nic Lane và các cộng tác viên đã phát triển một công cụ mới có tên Photon, giúp tối ưu hóa quy trình đào tạo phân tán. Mặc dù quy trình này có thể chậm hơn so với đào tạo truyền thống, nhưng nó cho phép thêm phần cứng mới để tăng tốc độ đào tạo.

Vana, đối tác của Flower AI trong dự án Collective-1, đang phát triển các phương pháp mới để người dùng có thể chia sẻ dữ liệu cá nhân cho việc đào tạo AI. Phần mềm của họ cho phép người dùng đóng góp dữ liệu từ các nền tảng như X và Reddit, đồng thời kiểm soát cách thông tin của họ được sử dụng. Điều này không chỉ giúp tăng cường chất lượng dữ liệu mà còn tạo ra một mô hình AI mà người dùng có thể sở hữu.

Mirco Musolesi, một nhà khoa học máy tính tại University College London, cho rằng phương pháp phân tán có thể mở khóa nhiều loại dữ liệu mới, đặc biệt trong các lĩnh vực nhạy cảm như chăm sóc sức khỏe và tài chính. Việc này giúp ngành AI có thể tận dụng lượng lớn dữ liệu mà không gặp phải rủi ro liên quan đến việc tập trung dữ liệu.