Construire un moteur RAG en C# à partir de zéro

01 / Comprendre le problème

Créez une chaîne de questions-réponses sur des documents. À partir de textes approuvés et d'une question, recherchez les passages pertinents et construisez une consigne appuyée sur les sources. L'indexation et la recherche déterministes se testent sans modèle.

02 / Réfléchir

Définissez les contrats du chargeur, du découpeur, du modèle d'embedding, du stockage vectoriel, du moteur de recherche et du générateur. Un document ne doit jamais décider des autorisations d'un visiteur.

03 / Concevoir

Indexation : document → texte validé → fragments identifiés → embeddings → index soumis aux autorisations.

Question : question autorisée → vecteur → meilleurs fragments admissibles → contexte limité avec sources → réponse et citations vérifiées.

04 / Implémenter

public static IEnumerable<string> Chunk(
    string text, int size = 800, int overlap = 100)
{
    if (size <= 0 || overlap < 0 || overlap >= size)
        throw new ArgumentOutOfRangeException(nameof(overlap));
    for (int start = 0; start < text.Length; start += size - overlap)
    {
        int length = Math.Min(size, text.Length - start);
        yield return text.Substring(start, length);
        if (start + length == text.Length) yield break;
    }
}

public static double Cosine(double[] a, double[] b)
{
    if (a.Length == 0 || a.Length != b.Length)
        throw new ArgumentException("Equal non-empty dimensions required.");
    double dot = 0, aa = 0, bb = 0;
    for (int i = 0; i < a.Length; i++)
    {
        dot += a[i] * b[i];
        aa += a[i] * a[i];
        bb += b[i] * b[i];
    }
    if (aa == 0 || bb == 0) return 0;
    return dot / (Math.Sqrt(aa) * Math.Sqrt(bb));
}

Construire la frontière de génération

Délimitez clairement les textes sources. Exigez des réponses justifiées et une abstention explicite sans preuve. Ne mettez ni secrets ni consignes système dans le corpus. Une instruction dans un document n'est jamais une commande privilégiée.

05 / Tester

• Un document vide ne produit aucun fragment.
• Le chevauchement reste inférieur à la taille d'un fragment.
• Les dimensions incompatibles sont rejetées.
• Un utilisateur ne recherche pas les documents d'une autre organisation.
• Une question sans réponse peut rester sans réponse.
• Chaque citation correspond à une source réellement trouvée.

06 / Améliorer

Mesurez le rappel sur un petit ensemble de questions annotées. Ajoutez déduplication, reclassement, limites d'ingestion et suivi des versions. Évaluez séparément la fidélité des réponses.

07 / Comparer avec l'IA

Vérifiez les autorisations absentes, les instructions malveillantes, les vecteurs périmés et les citations inventées. Une démonstration convaincante ne prouve pas la sécurité du système.