هوش مصنوعی Petals

ابزار Petal یک پلت فرم غیرمتمرکز است که یک مدل زبان بزرگ مانند Bloom-176b را اجرا می کند. این می تواند بخش های کوچکی از مدل را برای استنتاج و تنظیم دقیق بارگذاری کند. استنتاج تک دسته ای تقریباً 1 ثانیه در هر مرحله (توکن) طول می کشد و می تواند استنتاج موازی را تا صدها توکن در ثانیه انجام دهد. این ابزار بیش از یک API مدل زبان کلاسیک را ارائه می دهد، با استفاده از روش های نمونه برداری دقیق و به کاربران اجازه می دهد مسیرهای سفارشی را اجرا کنند و حالت های پنهان را ببینند. Petal همچنین PyTorch API انعطاف پذیر را ارائه می دهد. این بخشی از پروژه کارگاه تحقیقاتی BigScience است.