Theo tin tức từ BitouchNews, Chainbase, một mạng dữ liệu toàn chuỗi, đã thông báo rằng họ sẽ mở nguồn mô hình ngôn ngữ lớn Theia- Llama-3.1-8B trên HuggingFace, được thiết kế đặc biệt cho lĩnh vực mã hóa. Mô hình này vượt qua các mô hình chính thống trên thị trường về độ phức tạp và điểm BERT, đồng thời khả năng hiểu thế giới mã hóa của nó vượt xa hầu hết các mô hình lớn nguồn mở chính thống.

Nhóm Chainbase đã xây dựng một cách sáng tạo bộ dữ liệu Web3 chuyên nghiệp đầu tiên, chứa nhiều thông tin khác nhau về 2000 dự án hàng đầu của CoinMarketCap . Các bộ dữ liệu được lọc thủ công và thuật toán để đảm bảo tính chính xác, đa dạng và chuyên nghiệp của dữ liệu huấn luyện. Dựa trên tập dữ liệu này, nhóm đã sử dụng công nghệ LoRA để tinh chỉnh mô hình một cách hiệu quả và sử dụng các công cụ như DeepSpeed ​​​​để đẩy nhanh quá trình đào tạo. Mô hình được lượng tử hóa thành định dạng Q8 GGUF, giúp giảm đáng kể mức sử dụng bộ nhớ và cải thiện tốc độ suy luận.

Có thông tin cho rằng Theia- Llama-3.1-8B là nỗ lực ban đầu của Chainbase đối với một mô hình quy mô lớn trong lĩnh vực mã hóa. Mô hình này đã được áp dụng thành công cho ứng dụng tương tác Chainbase DEMO TheiaChat và hiện tại. có hơn 300.000 người dùng hoạt động hàng ngày.