Mid Sweden University

Detta arbete undersöker hur data från interna system kan representeras för att ge en LLM den kontext den behöver för att navigera och hämta intern organisatorisk information och på så sätt effektivisera intern informationssökning. Primärt undersöks det om grafbaserad datarepresentation i form av en kunskapsgraf ger LLM:er bättre förutsättningar att kombinera information från flera olika källor jämfört med en lösning där information hämtas direkt från källornas API:er. Två lösningar implementeras och utvärderas. Den grafbaserade lösningen lagrar data från GitHub, Slack och Confluence i en grafdatabas, medan den API-baserade lösningen hämtar data direkt från systemens API:er. Båda lösningarna exponeras via en MCP-server och testas med 15 frågor fördelade över tre komplexitetsnivåer. Resultatet visar att den grafbaserade lösningen presterar bättre vid komplexa frågor som kräver att det görs kopplingar mellan data från olika källor. Där hade lösningen korrekta svar på 80% av frågorna mot API-baserade lösningens 20% korrekta svar. Den grafbaserade lösningen hade även i genomsnitt mindre resursförbrukning i form av antal verktygsanrop. Vid de enklare frågorna där komplexa resonemang inte behövs presterade lösningarna i genomsnitt likvärdigt. Slutsatsen är att en grafbaserad representation av organisatorisk data ger LLM:en tydliga fördelar med att kombinera information från olika källor, medan den API-baserade lösningen är tillräcklig för att besvara frågor som rör enskilda källor

Organisations consist of multiple internal systems containing large amounts of data, such as project tools, documentation, and communication channels. This spread of information leads to employees spending unnecessary time searching for information across different systems on a daily basis. This study investigates how data from internal systems can be represented to provide a large language model (LLM) with the context it needs to navigate and retrieve internal organisational information, thereby improving information retrieval within an organisation. The primary focus is on whether a graph-based data representation in the form of a knowledge graph gives LLMs better conditions for combining information from multiple sources compared to a solution where information is retrieved directly from the systems’ APIs. Two solutions are implemented and evaluated. The graph-based solution stores data from GitHub, Slack and Confluence in a graph database, while the API-based solution retrieves data directly from the systems’ APIs. Both solutions are exposed via an MCP server and tested using 15 questions distributed across three complexity levels. The results show that the graph-based solution performs better on complex questions that require linking data from different sources, achieving correct answers on 80% of such questions compared to 20% for the API-based solution. The graph-based solution also averaged fewer tool calls. For simpler questions where complex reasoning is not required, both solutions performed equally well on average. The conclusion is that a graph-based representation of organisational data gives the LLM clear advantages when combining information from multiple sources, while the API-based solution is sufficient for answering questions that concern a single source