README.md

Phi Kookboek: Praktische Voorbeelden met Microsofts Phi Modellen

Phi is een reeks open source AI-modellen ontwikkeld door Microsoft.

Phi is momenteel het meest krachtige en kosteneffectieve kleine taalmodel (SLM), met uitstekende benchmarks op het gebied van meertaligheid, redeneren, tekst-/chatgeneratie, coderen, afbeeldingen, audio en andere scenario's.

Je kunt Phi inzetten in de cloud of op edge-apparaten, en je kunt eenvoudig generatieve AI-toepassingen bouwen met beperkte rekenkracht.

Volg deze stappen om aan de slag te gaan met deze bronnen:

1. Fork de repository: Klik
2. Clone de repository: git clone https://github.com/microsoft/PhiCookBook.git
3. Word lid van de Microsoft AI Discord Community en ontmoet experts en andere ontwikkelaars

Inhoudsopgave

• Introductie

  • Welkom bij de Phi Familie
  • Je omgeving instellen
  • Belangrijke technologieën begrijpen
  • AI Veiligheid voor Phi Modellen
  • Phi Hardware Ondersteuning
  • Phi Modellen & Beschikbaarheid op verschillende platforms
  • Guidance-ai en Phi gebruiken
  • GitHub Marketplace Modellen
  • Azure AI Model Catalogus

• Phi gebruiken in verschillende omgevingen

  • Hugging Face
  • GitHub Modellen
  • Azure AI Foundry Model Catalogus
  • Ollama
  • AI Toolkit VSCode (AITK)
  • NVIDIA NIM

• Phi Familie gebruiken

  • Phi gebruiken op iOS
  • Phi gebruiken op Android

• Inferentie Phi in Jetson

  • Inferentie Phi in AI PC
  • Inferentie Phi met Apple MLX Framework
  • Inferentie Phi op een lokale server
  • Inferentie Phi op een externe server met AI Toolkit
  • Inferentie Phi met Rust
  • Inferentie Phi--Vision lokaal
  • Inferentie Phi met Kaito AKS, Azure Containers (officiële ondersteuning)

• Kwantiseren van Phi-familie

  • Kwantiseren van Phi-3.5 / 4 met llama.cpp
  • Kwantiseren van Phi-3.5 / 4 met Generative AI-extensies voor onnxruntime
  • Kwantiseren van Phi-3.5 / 4 met Intel OpenVINO
  • Kwantiseren van Phi-3.5 / 4 met Apple MLX Framework

• Evaluatie van Phi

  • Verantwoordelijke AI
  • Azure AI Foundry voor evaluatie
  • Evaluatie met Promptflow

• RAG met Azure AI Search

  • Hoe Phi-4-mini en Phi-4-multimodal (RAG) te gebruiken met Azure AI Search

• Voorbeelden van Phi-toepassingsontwikkeling

  • Tekst- en chattoepassingen
    • Phi-4 Voorbeelden 🆕
      • [📓] Chat met Phi-4-mini ONNX Model
      • Chat met Phi-4 lokale ONNX Model .NET
      • Chat .NET Console App met Phi-4 ONNX via Sementic Kernel
    • Phi-3 / 3.5 Voorbeelden
      • Lokale chatbot in de browser met Phi3, ONNX Runtime Web en WebGPU
      • OpenVino Chat
      • Multi Model - Interactieve Phi-3-mini en OpenAI Whisper
      • MLFlow - Wrapper bouwen en Phi-3 gebruiken met MLFlow
      • Modeloptimalisatie - Hoe het Phi-3-min model te optimaliseren voor ONNX Runtime Web met Olive
      • WinUI3 App met Phi-3 mini-4k-instruct-onnx
      • WinUI3 Multi Model AI Powered Notes App Voorbeeld
      • Fijn afstemmen en aangepaste Phi-3 modellen integreren met Promptflow
      • Fijn afstemmen en aangepaste Phi-3 modellen integreren met Promptflow in Azure AI Foundry
      • Evalueer het fijn afgestemde Phi-3 / Phi-3.5 model in Azure AI Foundry met focus op de Responsible AI-principes van Microsoft

• [📓] Phi-3.5-mini-instruct taalvoorspellingsvoorbeeld (Chinees/Engels) - Phi-3.5-Instruct WebGPU RAG Chatbot - Windows GPU gebruiken om een Prompt Flow-oplossing te maken met Phi-3.5-Instruct ONNX - Microsoft Phi-3.5 tflite gebruiken om een Android-app te maken - Q&A .NET Voorbeeld met lokaal ONNX Phi-3 model via Microsoft.ML.OnnxRuntime - Console chat .NET-app met Semantic Kernel en Phi-3

  • Azure AI Inference SDK Code Gebaseerde Voorbeelden

    • Phi-4 Voorbeelden 🆕
      • [📓] Projectcode genereren met Phi-4-multimodal
    • Phi-3 / 3.5 Voorbeelden
      • Bouw je eigen Visual Studio Code GitHub Copilot Chat met Microsoft Phi-3 Family
      • Maak je eigen Visual Studio Code Chat Copilot Agent met Phi-3.5 door GitHub-modellen

  • Geavanceerde Redeneervoorbeelden

    • Phi-4 Voorbeelden 🆕
      • [📓] Phi-4-mini Redeneervoorbeelden

  • Demo's

    • Phi-4-mini demo's gehost op Hugging Face Spaces
    • Phi-4-multimodal demo's gehost op Hugging Face Spaces

  • Visievoorbeelden

    • Phi-4 Voorbeelden 🆕
      • [📓] Gebruik Phi-4-multimodal om afbeeldingen te lezen en code te genereren
    • Phi-3 / 3.5 Voorbeelden
      • [📓]Phi-3-vision-Image tekst naar tekst
      • Phi-3-vision-ONNX
      • [📓]Phi-3-vision CLIP Embedding
      • DEMO: Phi-3 Recycling
      • Phi-3-vision - Visuele taalassistent - met Phi3-Vision en OpenVINO
      • Phi-3 Vision Nvidia NIM
      • Phi-3 Vision OpenVino
      • [📓]Phi-3.5 Vision multi-frame of multi-image voorbeeld
      • Phi-3 Vision Lokaal ONNX Model met Microsoft.ML.OnnxRuntime .NET
      • Menu gebaseerd Phi-3 Vision Lokaal ONNX Model met Microsoft.ML.OnnxRuntime .NET

  • Audio Voorbeelden

    • Phi-4 Voorbeelden 🆕
      • [📓] Audio transcripties extraheren met Phi-4-multimodal
      • [📓] Phi-4-multimodal Audio Voorbeeld
      • [📓] Phi-4-multimodal Spraakvertaling Voorbeeld
      • .NET console-applicatie met Phi-4-multimodal Audio om een audiobestand te analyseren en transcript te genereren

  • MOE Voorbeelden

    • Phi-3 / 3.5 Voorbeelden
      • [📓] Phi-3.5 Mixture of Experts Models (MoEs) Social Media Voorbeeld
      • [📓] Een Retrieval-Augmented Generation (RAG) Pipeline bouwen met NVIDIA NIM Phi-3 MOE, Azure AI Search, en LlamaIndex

  • Functieaanroep Voorbeelden

    • Phi-4 Voorbeelden 🆕
      • [📓] Functieaanroep gebruiken met Phi-4-mini

  • Multimodale Mixvoorbeelden

    • Phi-4 Voorbeelden 🆕

• [📓] Phi-4-multimodal gebruiken als technologiejournalist

  • .NET console-applicatie die Phi-4-multimodal gebruikt om afbeeldingen te analyseren

• Fine-tuning Phi-voorbeelden

  • Fine-tuning Scenario's
  • Fine-tuning versus RAG
  • Fine-tuning: Laat Phi-3 een industrie-expert worden
  • Fine-tuning Phi-3 met AI Toolkit voor VS Code
  • Fine-tuning Phi-3 met Azure Machine Learning Service
  • Fine-tuning Phi-3 met Lora
  • Fine-tuning Phi-3 met QLora
  • Fine-tuning Phi-3 met Azure AI Foundry
  • Fine-tuning Phi-3 met Azure ML CLI/SDK
  • Fine-tuning met Microsoft Olive
  • Fine-tuning met Microsoft Olive Hands-On Lab
  • Fine-tuning Phi-3-vision met Weights and Bias
  • Fine-tuning Phi-3 met Apple MLX Framework
  • Fine-tuning Phi-3-vision (officiële ondersteuning)
  • Fine-tuning Phi-3 met Kaito AKS, Azure Containers (officiële ondersteuning)
  • Fine-tuning Phi-3 en 3.5 Vision

• Hands-on Lab

  • Verkennen van geavanceerde modellen: LLMs, SLMs, lokale ontwikkeling en meer
  • Het potentieel van NLP ontgrendelen: Fine-tuning met Microsoft Olive

• Academische Onderzoeksartikelen en Publicaties

  • Textbooks Are All You Need II: phi-1.5 technisch rapport
  • Phi-3 Technisch Rapport: Een zeer capabel taalmodel lokaal op je telefoon
  • Phi-4 Technisch Rapport
  • Optimalisatie van Kleine Taalmodellen voor In-Vehicle Function-Calling
  • (WhyPHI) Fine-tuning PHI-3 voor Meerkeuzevraag Antwoorden: Methodologie, Resultaten en Uitdagingen

Gebruik van Phi Modellen

Phi op Azure AI Foundry

Je kunt leren hoe je Microsoft Phi gebruikt en hoe je end-to-end-oplossingen bouwt op verschillende hardwareapparaten. Om zelf ervaring op te doen met Phi, begin met het uitproberen van de modellen en het aanpassen van Phi aan jouw scenario's via de Azure AI Foundry Azure AI Model Catalog. Meer informatie vind je in de handleiding Azure AI Foundry.

Playground
Elk model heeft een speciale playground om het model te testen: Azure AI Playground.

Phi op GitHub Modellen

Je kunt leren hoe je Microsoft Phi gebruikt en hoe je end-to-end-oplossingen bouwt op verschillende hardwareapparaten. Om zelf ervaring op te doen met Phi, begin met het uitproberen van het model en het aanpassen van Phi aan jouw scenario's via de GitHub Model Catalog. Meer informatie vind je in de handleiding GitHub Model Catalog.

Playground Elke model heeft een speciale playground om het model te testen.

Phi op Hugging Face

Je kunt het model ook vinden op Hugging Face

Playground
Hugging Chat playground

Verantwoordelijke AI

Microsoft zet zich in om klanten te helpen onze AI-producten op een verantwoorde manier te gebruiken, onze kennis te delen en vertrouwensrelaties op te bouwen via tools zoals Transparantienotities en Effectbeoordelingen. Veel van deze middelen zijn te vinden op https://aka.ms/RAI.
De aanpak van Microsoft voor verantwoorde AI is gebaseerd op onze AI-principes: eerlijkheid, betrouwbaarheid en veiligheid, privacy en beveiliging, inclusiviteit, transparantie en verantwoordelijkheid.

Grootschalige modellen voor natuurlijke taal, beeld en spraak - zoals de modellen die in dit voorbeeld worden gebruikt - kunnen mogelijk gedrag vertonen dat oneerlijk, onbetrouwbaar of aanstootgevend is, wat schade kan veroorzaken. Raadpleeg de Azure OpenAI service Transparantienotitie om op de hoogte te blijven van risico's en beperkingen.

De aanbevolen aanpak om deze risico's te beperken is om een veiligheidssysteem in je architectuur op te nemen dat schadelijk gedrag kan detecteren en voorkomen. Azure AI Content Safety biedt een onafhankelijke beschermingslaag die schadelijke door gebruikers gegenereerde en door AI gegenereerde inhoud in applicaties en diensten kan detecteren. Azure AI Content Safety omvat tekst- en beeld-API's waarmee je schadelijk materiaal kunt detecteren. Binnen Azure AI Foundry kun je met de Content Safety-service voorbeeldcode bekijken, verkennen en uitproberen om schadelijke inhoud in verschillende modaliteiten te detecteren. De volgende quickstart documentatie begeleidt je bij het indienen van verzoeken aan de service.

Een ander aspect om rekening mee te houden is de algehele prestatie van de applicatie. Bij multimodale en multi-modeltoepassingen betekent prestatie dat het systeem functioneert zoals jij en je gebruikers verwachten, inclusief het niet genereren van schadelijke uitkomsten. Het is belangrijk om de prestaties van je gehele applicatie te beoordelen met behulp van Performance and Quality en Risk and Safety evaluators. Je hebt ook de mogelijkheid om aangepaste evaluators te maken en te evalueren.

Je kunt je AI-applicatie evalueren in je ontwikkelomgeving met de Azure AI Evaluation SDK. Met een testdataset of een doel worden de generaties van je generatieve AI-applicatie kwantitatief gemeten met ingebouwde evaluators of aangepaste evaluators van jouw keuze. Om te beginnen met de Azure AI Evaluation SDK om je systeem te evalueren, kun je de quickstart gids volgen. Zodra je een evaluatierun hebt uitgevoerd, kun je de resultaten visualiseren in Azure AI Foundry.

Handelsmerken

Dit project kan handelsmerken of logo's bevatten van projecten, producten of diensten. Toegestaan gebruik van Microsoft-handelsmerken of logo's is onderhevig aan en moet voldoen aan Microsoft's Trademark & Brand Guidelines.
Gebruik van Microsoft-handelsmerken of logo's in aangepaste versies van dit project mag geen verwarring veroorzaken of impliceren dat Microsoft sponsoring biedt. Elk gebruik van handelsmerken of logo's van derden is onderhevig aan het beleid van die derden.

Disclaimer (Vrijwaring):
Dit document is vertaald met behulp van machinegebaseerde AI-vertalingsdiensten. Hoewel we streven naar nauwkeurigheid, dient u zich ervan bewust te zijn dat geautomatiseerde vertalingen fouten of onnauwkeurigheden kunnen bevatten. Het originele document in zijn oorspronkelijke taal moet worden beschouwd als de gezaghebbende bron. Voor kritieke informatie wordt professionele menselijke vertaling aanbevolen. Wij zijn niet aansprakelijk voor misverstanden of verkeerde interpretaties die voortvloeien uit het gebruik van deze vertaling.