هوش مصنوعی Phi-3 Mini تا ۳٫۸ میلیارد پارامتر دارد و با استفاده از مجموعه‌داده‌های آموزشی مدل‌های زبانی بزرگ مانند GPT-4 آموزش داده شده است.

مایکروسافت قصد دارد به‌زودی Phi-3 Small (۷ میلیارد پارامتر) و Phi-3 Medium (۱۴ میلیارد پارامتر) را نیز منتشر کند. پارامتر به تعداد دستورالعمل‌های پیچیده‌ای اشاره می‌کند که یک مدل می‌تواند بفهمد.

مایکروسافت مدل Phi-2 را در ماه دسامبر ۲۰۲۳ (آذر و دی ۱۴۰۲) منتشر کرد که به خوبیِ مدل‌های بزرگ‌تری مانند Llama 2 بود. مایکروسافت می‌گوید که Phi-3 بهتر از نسخه‌ی قبلی عمل می‌کند و می‌تواند پاسخ‌هایی نزدیک به مدلی ۱۰ برابر بزرگ‌تر را ارائه دهد.

مدل‌های هوش مصنوعی کوچک در‌مقایسه‌با همتایان بزرگ‌تر خود، اغلب ارزان‌تر هستند و در دستگاه‌های شخصی مانند گوشی و لپ‌تاپ‌ عملکرد بهتری دارند.

اوایل سال ۲۰۲۴، مایکروسافت در حال ساخت تیمی بود که به‌طور‌خاص روی مدل‌های سبک‌تر هوش مصنوعی متمرکز است. در‌کنار Phi، این شرکت Orca-Math را نیز ساخته است؛ مدلی که مسائل ریاضی را حل می‌کند.

مدل زبان جدید و کوچک مایکروسافت با تعداد پارامتر بسیار کم‌تر، عملکرد بهتری از ChatGPT دارد.

اریک بوید، معاون شرکت Microsoft Azure AI Platform، می‌گوید که توسعه‌دهندگان Phi-3 را با «برنامه‌ای آموزشی» آموزش داده‌اند. آن‌ها از نحوه‌ی یادگیری کودکان از داستان‌های قبل از خواب و کتاب‌هایی با کلمات ساده‌تر الهام گرفته‌اند.

بوید می‌گوید: «کتاب‌های کودکان زیادی وجود ندارد؛ بنابراین، فهرستی از بیش‌ از ۳ هزار کلمه برداشتیم و از LLM خواستیم تا «کتاب‌های کودکان» را برای آموزش Phi-3 بسازد.»

خانواده‌ی مدل‌های Phi-3 برخی از دانش‌های عمومی را می‌دانند؛ اما نمی‌توانند GPT-4 یا LLM دیگری را شکست دهند.

منبع: زومیت