گوگل امروز از عرضه مدل جدیدی از زبان بزرگ Gemini خبر داد و همچنین نسخه به روز شده Cloud TPU v5p را معرفی کرد.
چیزی را گزارش کنید مجردها،این یک نسخه به روز شده از Cloud TPU v5e است که در اوایل امسال به صورت عمومی منتشر شد. هر پاد v5p حاوی 8960 تراشه است و از سریع ترین اتصال داخلی گوگل با سرعت 4800 گیگابیت بر ثانیه در هر تراشه پشتیبانی می کند.
تک کرانچ جای تعجب نیست که گوگل ادعا می کند این تراشه ها بسیار سریعتر از TPU v4 هستند. طبق گفته Mountainview، v5p بهبود 2 برابری در عملکرد FLOPS و بهبود 3 برابری در ذخیره سازی با پهنای باند بالا را ارائه می دهد. این کمی شبیه مقایسه مدل جدید Gemini با مدل قدیمی OpenAI GPT 3.5 است.
با این حال، خود گوگل اکنون وضعیت را عقب انداخته است، یعنی پادهای v5e در بسیاری از موارد دارای 256 تراشه v5e در هر پاد هستند در مقایسه با 4096 تراشه در پادهای v4 و مجموعا 197 TFLOP با عملکرد ممیز شناور 16 بیتی در هر تراشه v5e در مقایسه. به 275 برای V4s نسخه ضعیف تری از v4 pods بود. برای v5p جدید، گوگل تا 459 TFLOP عملکرد ممیز شناور 16 بیتی با اتصال سریع را وعده داده است.
همه اینها به این معنی است که طبق گفته گوگل، TPU v5p می تواند یک مدل زبان بزرگ مانند GPT3-175B را 2.8 برابر سریعتر از TPU v4 و با هزینه کمتر آموزش دهد. اگرچه TPU v5e کندتر است، اما عملکرد نسبی بالاتری را در هر دلار در مقایسه با v5p ارائه می دهد.
جف دین، دانشمند ارشد در Google DeepMind و Google Research می نویسد:
در مراحل اولیه استفاده، Google DeepMind و Google Research در مقایسه با عملکرد نسل TPU v4، افزایش 2 برابری سرعت را برای بارهای آموزشی LLM با تراشههای TPU v5p مشاهده کردند. پشتیبانی قوی از چارچوبهای یادگیری ماشین (JAX، PyTorch و TensorFlow) و ابزارهای ارکستراسیون به ما امکان میدهد تا مقیاس کارآمدتری را در v5p انجام دهیم.
با نسل دوم SparseCores، بهبود قابل توجهی در عملکرد تحت بارهای کاری سنگین نیز قابل مشاهده است. TPU ها برای اجرای بزرگترین تلاش های تحقیق و توسعه ما در مدل های پیشرفته مانند Gemini حیاتی هستند.
تراشه جدید TPU v5p هنوز به صورت عمومی در دسترس نیست. بنابراین، توسعه دهندگان باید با مدیر حساب Google خود تماس بگیرند تا به لیست درخواست اضافه شوند.
مقاله گوگل v5p Cloud TPU را برای اولین بار در TechNock ارائه می دهد – اخبار دنیای فناوری. ظاهر شد.