Dit is hoe Copilot relevante informatie vindt in jouw Microsoft 365-omgeving

Door: Dominique Hermans – Gepubliceerd op: 28 mei 2024

Wanneer je Copilot voor Microsoft 365 (hierna gewoon ‘Copilot’) voor het eerst in actie ziet, heeft het iets magisch. Hoe kan het dat Copilot je relevante informatie kan geven op basis van je vraag? Laten we daar in dit artikel eens dieper op ingaan.

De technologieën achter Copilot voor Microsoft 365

Copilot helpt je om tot antwoord te geven op je vragen en productiever te zijn in de apps van Microsoft 365. Hoe kan dat eigenlijk? Daarvoor gebruikt Copilot een aantal technologieën. We zetten ze voor je op een rij:

1. Microsoft 365 Apps: Copilot is naadloos geïntegreerd in de apps die je dagelijks gebruikt, zoals Word, Excel, PowerPoint, Outlook en Teams. In elke app is Copilot aangepast om je te ondersteunen in de specifieke context van die app.

2. Microsoft 365 Copilot Chat: Met behulp van Microsoft Graph kun je Copilot eenvoudig aansturen met een prompt. Of het nu gaat om het beantwoorden van vragen, het opstellen of herschrijven van content, of het bijpraten over gemiste Teams-vergaderingen, Copilot staat klaar om te helpen.

3. Large Language Models (LLM’s): Copilot maakt gebruik van geavanceerde AI-algoritmes die deep learning-technieken en grote hoeveelheden datasets gebruiken om content te begrijpen, samen te vatten, te voorspellen en te genereren. Copilot gebruikt voorgetrainde modellen zoals GPT-4 en GPT-4 Turbo van bijvoorbeeld OpenAI. Belangrijk om te weten is dat deze modellen draaien in je eigen Microsoft 365 / Azure omgeving binnen de EU service boundary. Microsoft is er ook heel duidelijk over dat jouw gegevens niet worden gebruikt om het basismodel te trainen, zoals wel het geval is bij ChatGPT van OpenAI.

4. Microsoft Graph: De Microsoft Graph combineert al je data en intelligentie in je Microsoft 365-omgeving en publiceert deze informatie via een zogenaamde Application Programming Interface (API), zodat het toegankelijk is voor iedereen met de juiste rechten. Dezelfde API kan worden gebruikt door developers om applicaties te ontwikkelen die toegang hebben tot diezelfde informatie. In onderstaande afbeelding vind je een visuele weergave van de Microsoft Graph.

Verder is het ook goed om je bewust te zijn van het feit dat Microsoft Graph verantwoordelijk is voor de toegang tot gegevens. Copilot houdt rekening met de machtigingen die je hebt gegeven aan documenten, sites, teams, apparaten en andere gebieden in de Graph.

Alle gegevens in Microsoft Graph worden geïndexeerd zodat ze snel gevonden en geopend kunnen worden. Zoekresultaten worden gepersonaliseerd omdat Microsoft Graph rekening houdt met de relatie tussen je gegevens en mensen met wie je vaak contact hebt. Interactie met gegevens in de Microsoft Graph is gebaseerd op:

1. Trefwoordmatching: dit kun je vergelijken met hoe een traditionele zoekmachine zoals Google of Bing werkt. In dit geval wordt het matchen van trefwoorden echter gedaan aan de hand van Microsoft Graph-indexen.
2. Personalisatie en sociale matching: dit zorgt ervoor dat Copilot je de beste zoekresultaten kan leveren, door gebruik te maken van informatie die de Graph over jou en je frequente contacten weet.

De semantische index voor Copilot

De semantische index voor Copilot analyseert je zoekopdracht om je antwoorden te geven in context met wat je zoekt of wat je Copilot vraagt te doen. Dit wordt ook wel ‘vector-based search’ genoemd. Om te begrijpen hoe de semantische index voor Copilot werkt, kijken we eerst hoe vector-based search werkt.

Vector-based search

Traditionele zoekmethoden gebruiken trefwoorden en exacte overeenkomsten om gegevens op te halen. Bij vector-based search wordt de inhoud weergegeven als getallen, terwijl traditionele zoekmethoden platte tekst gebruiken om de inhoud te identificeren. Dus wanneer we het hebben over een goede match in vector search, hebben de getallen een nauwe overeenkomst.

De volgende matchingstypes zijn mogelijk in Azure AI Vector Search, de ‘bouwsteen’ voor vector-based search in Microsoft 365:

• Semantische of conceptuele gelijkenis (hond en canine, conceptueel vergelijkbaar maar taalkundig verschillend)
• Meertalige inhoud (‘Dog’ in het Engels en ‘Hund’ in het Duits)
• Meerdere inhoudstypen (‘hond’ in platte tekst en een foto van een hond in een afbeelding)

In de afbeelding hieronder zie je een voorbeeld van een vectorindex die woorden in plaats van getallen gebruikt. Microsoft gebruikt een techniek genaamd ‘Hybrid Search’ voor het beantwoorden van alle Copilot zoekopdrachten. Deze techniek combineert het traditionele zoeken op trefwoorden met vector search voor verbeterde nauwkeurigheid.

Semantisch zoeken

Bij semantisch zoeken wordt gebruikgemaakt van vector-based search om de zoekopdracht die je naar Copilot stuurt te verbeteren. Het kan bijvoorbeeld je zoekopdracht naar ‘boerderij’ uitbreiden door de trefwoorden ‘ranch’, ‘vee’ en ‘plantage’ toe te voegen. Hierdoor kan het meer informatie halen uit de Microsoft Graph en semantische index. Deze informatie wordt vervolgens ingevoerd in het Large Language Model (LLM). Omdat de informatie nu uitgebreid is, heeft het LLM meer informatie om over te redeneren en kan Copilot je het best mogelijke resultaat geven.

De Semantische Index

Tot slot gebruikt Copilot de Microsoft Graph en semantische index voor post-processing.

Om dit te doen, bestaat de semantische index uit twee indexen:

• Een gebruikersniveau-index: dit is een persoonlijke index met data die alleen toegankelijk is voor jou. Voorbeelden hiervan zijn e-mails, documenten die van jou zijn of je vermelden, of documenten die je deelt of waarop je commentaar geeft.

• De index op tenantniveau: bevat SharePoint Online-bestanden die door twee of meer werknemers in je organisatie kunnen worden geopend en waar je toegang tot hebt. Bovendien moet de SharePoint Online site doorzoekbaar zijn.

De indexen worden automatisch aangemaakt voor elke Microsoft 365-klant. Op dit moment is echter niet te achterhalen of je omgeving al een index heeft aangemaakt. Dit was voorheen wel mogelijk, maar de statusindicator die aanwezig was in het beheercentrum werkte verwarrend en is verwijderd.

Nadat de initiële indexen zijn aangemaakt door Microsoft, worden nieuwe persoonlijke documenten continu in (near) realtime geïndexeerd. Nieuwe documenten op SharePoint worden dagelijks geïndexeerd. Updates voor documenten op gebruikers- of tenantniveau worden onmiddellijk geïndexeerd.

Semantisch zoeken en de Semantische Index in Copilot

De afbeelding hieronder laat zien hoe Microsoft 365 Copilot een prompt afhandelt van een gebruiker. De semantische index wordt in dit proces twee keer geraadpleegd, eerst wanneer de Microsoft Graph wordt benaderd voor (voor-)verwerking (stap 2) van de gebruikersprompt. Ten tweede, wanneer de verwerking plaatsvindt voor Compliance en Purview (stap 5).

Hoe activeer je de Semantische index?

Zoals ik hierboven heb vermeld, wordt de semantische index automatisch ingeschakeld voor alle Microsoft 365-omgevingen. Microsoft vermeldt dat de semantische index ‘een verbetering van Microsoft 365 Search is en niet kan worden uitgeschakeld’. Microsoft geeft aan dat beheerders de index kunnen voorbereiden en beheren door de volgende technische documentatie te raadplegen:

• https://learn.microsoft.com/nl-nl/sharepoint/deploy-file-collaboration
• https://learn.microsoft.com/nl-nl/sharepoint/modern-experience-sharing-permissions

Als je Microsoft Purview Data Loss Prevention (DLP) gebruikt, neemt Microsoft 365 Copilot deze instellingen over. Zo behoud je controle over de gecreëerde indexen. Ten slotte kan de index ook worden geconfigureerd om bepaalde bestanden uit SharePoint niet te gebruiken, door ze uit te sluiten voor de Microsoft Search-index.

De laatste instellingen die je kunt gebruiken om data in de semantische index te beïnvloeden, zijn de configuratie van people insights en item insights. Deze kun je uitschakelen en worden dan niet opgenomen in de semantische index. Als je meer wilt weten over item insights, bekijk dan dit artikel.

Privacy, compliance en beveiliging

Bij alles wat met Copilot te maken heeft, is Microsoft zeer open over het gebruik van je data. Een zin die het mooi samenvat: “Jouw data blijft jouw data”. Als we kijken naar de privacy, compliance en beveiligingsaspecten van Copilot voor Microsoft 365 dan kunnen we deze verdelen in 2 perspectieven:

1. Aspecten in relatie tot de basisinrichting van je Microsoft 365 omgeving zoals ingestelde machtigingen op documenten, sites, teams, apparaten en andere gebieden in de Graph en daarnaast eventueel je inrichting van Data Loss Prevention binnen Purview:
   1. Het machtigingsmodel van Microsoft Graph wordt gebruikt om ervoor te zorgen dat je gegevens niet worden gelekt.
   2. De semantische index neemt dit machtigingsmodel over.
   3. Microsoft 365 Copilot voldoet aan de Algemene Verordening Gegevensbescherming (AVG) en de Data Boundary van de Europese Unie. Houd er rekening mee dat het gebruik van plug-ins hierop een uitzondering kan zijn!
2. Aspecten in relatie tot het gebruik van Large Language Models (LLM’s):
   1. Je gegevens worden niet gebruikt om het basismodel te trainen, inclusief de LLM’s die gebruikt worden door Microsoft 365 Copilot.
   2. Het Azure OpenAI-platform wordt gebruikt voor Microsoft 365 Copilot, niet het openbare platform van OpenAI dat wordt gebruikt door ChatGPT.
   3. Concreet betekenen de bovenstaande 2 bullets dat de vragen die je stelt aan Microsoft 365 Copilot en de antwoorden die je krijgt niet worden gebruikt om de LLM’s van Microsoft’s Azure OpenAI platform of OpenAI’s platform te trainen of slimmer te maken. Hiernaast maak je gebruik van je eigen “kopie” van het LLM dat zich bevindt in het Microsoft Azure datacenter en niet van het openbare LLM van bijvoorbeeld OpenAI. Een gebruiker kan er dus op vertrouwen dat de data binnen de omgeving van de organisatie blijft.

Als je connectoren gebruikt om externe databronnen op te nemen in je Microsoft Graph, behouden deze externe databronnen toegangscontroles die worden beheerd door de Microsoft Graph. In het geval van Graph-connectoren worden de gegevens ook geïndexeerd.

Wees je echter bewust dat bij het gebruik van plug-ins, de ontwikkelaar van de plug-in verantwoordelijk is voor het gebruik van je data. Controleer dus hun gebruiksvoorwaarden en privacybeleid. Wees er als laatste van op de hoogte dat ook het opvragen van webresultaten middels Bing door Microsoft 365 Copilot wordt gefaciliteerd middels een plug-in.

Als je de details hierover wilt, kun je een kijkje nemen op de pagina van Microsoft over Gegevens, Privacy en Beveiliging voor Microsoft 365 Copilot.

Tot slot

Copilot voor Microsoft 365 kan alleen gegevens gebruiken die toegankelijk zijn voor je gebruikers. De zin “als het door je gebruikers kan worden gezien, kan het door Copilot worden gebruikt” wordt de laatste tijd veel gebruikt. Microsoft biedt je informatie, best practices en tools om deze gegevens en de bijbehorende machtigingen te beperken en te beschermen.

• Een goede plek om te beginnen is het Zero Trust-model voor Microsoft 365 Copilot, dat je door alle 7 lagen van bescherming leidt om je omgeving te beveiligen:
  • Gegevensbescherming
  • Identiteit en toegang
  • App-bescherming
  • Apparaatbeheer en -bescherming
  • Bedreigingsbescherming
  • Veilige samenwerking met Teams
  • Gebruikersmachtigingen voor data

• Blijf continu toezicht houden en de toegang tot Teams en SharePoint configureren door gebruik te maken van toegangsrecensies.
• Beperk de reikwijdte van gegevens die door Copilot kunnen worden gebruikt door ‘Beperkt SharePoint-zoeken’ te gebruiken.
• Ontwerp en implementeer een beveiligingsoplossing voor gegevens op basis van Microsoft Purview. Begin met het implementeren van gevoeligheidslabels en breid uit door implementatie van Data Loss Prevention (DLP) en bewaarbeleid.
• Denk na over een content lifecycle-strategie en implementatie op basis van geavanceerd beheer van SharePoint.