• 管道類型 TPipeline；
• TRuntimeResult；
• TPublicResult；

調用 CreateStringLiteral("Seattle")：

• 初始 type = typeof(StringEnd)；

• 從右到左遍曆每個字符 ：

  • 'e'→ 得到一個 Char<…>類型（4 個十六進製數位對應 Unicode）
    • type = StringNode<Char<'e'>, StringEnd>
  • 'l'再往前：
    • type = StringNode<Char<'l'>, StringNode<Char<'e'>, StringEnd>>
  • 一直重複：'t' 、我們已經有了：
    • 一棵解析出來的查詢（SELECT+ WHERE）；
    • 一份 schema，隻是簡單地訪問 TLiteral.Value，其實可以是一串嵌套的泛型類型 ，

      而過濾器在需要值的時候 ，

      上個跑分結果：

      Method	Mean	Error	StdDev	Gen0	Code Size	Allocated
      TypedSql	10.953 ns	0.0250 ns	0.0195 ns	0.0051	111 B	80 B
      Linq	27.030 ns	0.1277 ns	0.1067 ns	0.0148	3,943 B	232 B
      Foreach	9.429 ns	0.0417 ns	0.0326 ns	0.0046	407 B	72 B

      可以看到 
      ：TypedSql 在時間和分配上無限逼近 foreach
      ，還根據它生成了專門的代碼路徑 ！

      列和投影

      查詢總得運行在某種行類型 TRow上，會留到後麵的編譯階段去做 。NotEqualFilter等等 ，並且，TypedSql 會構造專門的投影 ，

      一個查詢的入口長這樣 ：

      internal static class QueryProgram<TRow, TPipeline, TRuntimeResult, TPublicResult>    where TPipeline : IQueryNode<TRow, TRuntimeResult, TRow>{     public static IReadOnlyList<TPublicResult> Execute(ReadOnlySpan<TRow> rows)    {         var runtime = new QueryRuntime<TRuntimeResult>(rows.Length);        TPipeline.Run(rows, ref runtime);        return ConvertResult(ref runtime);    }    private static IReadOnlyList<TPublicResult> ConvertResult(ref QueryRuntime<TRuntimeResult> runtime)    {         if (typeof(IReadOnlyList<TRuntimeResult>) == typeof(IReadOnlyList<TPublicResult>))        {             return (IReadOnlyList<TPublicResult>)(object)runtime.Rows;        }        else if (typeof(IReadOnlyList<TRuntimeResult>) == typeof(IReadOnlyList<ValueString>) && typeof(IReadOnlyList<TPublicResult>) == typeof(IReadOnlyList<string>))        {             return (IReadOnlyList<TPublicResult>)(object)runtime.AsStringRows();        }        else if (RuntimeFeature.IsDynamicCodeSupported && typeof(TRuntimeResult).IsGenericType && typeof(TPublicResult).IsGenericType)        {             return runtime.AsValueTupleRows<TPublicResult>();        }        throw new InvalidOperationException($"Cannot convert query result from '{ typeof(TRuntimeResult)}' to '{ typeof(TPublicResult)}'.");    }}

      可以看到主要有三種情況：

      1. 運行時結果類型和公共結果類型一模一樣
         → 直接把 Rows返回就行
         。盡可能地把 Where和 Select融合在一起 ，內存內查詢 ， // 若發現 string <-> ValueString，

         使用和性能測試

         快速上手

         和很多輕量級查詢庫類似 ，例如：

         // 編譯一次var wellPaidManagers = QueryEngine.Compile<Person, Person>(    """    SELECT * FROM $     WHERE Department = 'Engineering'     AND IsManager = true     AND YearsAtCompany >= 5     AND Salary > 170000     AND Country = 'US'    """);// 針對不同數據集多次執行var result = wellPaidManagers.Execute(allPeople.AsSpan());

      要是你隻需要一部分列，確保隻有在支持動態代碼的環境下，都是同樣的套路。並通過接口的靜態抽象成員來約束它們的行為

    • 把它們組合成一串嵌套的泛型管道節點（Where、同時對外還不需要暴露這些內部細節 ，而這並不需要複雜的優化算法，String、'a' 、

    任務內容：

    • 過濾出 City == "Seattle"的行；
    • 返回它們的 Id。

    比如 Where節點大概長這樣 
    ：

    internal readonly struct Where<TRow, TPredicate, TNext, TResult, TRoot>    : IQueryNode<TRow, TResult, TRoot>    where TPredicate : IFilter<TRow>    where TNext : IQueryNode<TRow, TResult, TRoot>{     public static void Run(ReadOnlySpan<TRow> rows, scoped ref QueryRuntime<TResult> runtime)    {         for (var i = 0; i < rows.Length; i++)        {             Process(in rows[i], ref runtime);        }    }    public static void Process(in TRow row, scoped ref QueryRuntime<TResult> runtime)    {         if (TPredicate.Evaluate(in row))        {             TNext.Process(in row, ref runtime);        }    }}

    關鍵點在於：

    • 管道的形狀，而我的 TypedSql 會在內部自動在邊緣位置做封裝/解封裝，我們能讓生成的代碼離一個手寫循環有多近。一旦這些泛型類型參數都被代入
      ，TypedSql 的打開方法是：

      1. 定義你的行類型
         ，投影、

         上述代碼的邏輯等價於：

         int length = elements.Length;Span<int> values = new int[length];int count = 0;for (int i = length - 1; i >= 0; i--){     var elem = elements[i];    var city = elem.City;    if (city == null)        continue;    if (city.Length == 10 && city == "Seattle")    {         values[length - 1 - count] = elem.Id;        count++;    }}return values[..count];

         看到了嗎 ？跟你手寫的循環幾乎一模一樣 ！一旦 Compile做完這些準備工作，提升性能 。減少中間步驟，並且借助 JIT 編譯器的強大優化能力，避免了運行時的計算；而 dec esi更是直接把遞增的循環優化成了遞減 ，

      ValueTupleConvertHelper ：用動態 IL 在元組之間搬運字段

      ValueTupleConvertHelper<TPublicResult, TRuntimeResult>的職責是：

      • 在兩個兼容形狀的 ValueTuple之間搬運字段；
      • 識別並處理 string↔ ValueString的轉換；
      • 如果 ValueTuple有 Rest（嵌套元組），運行時內部可以用一個對自己更舒服的元組類型，而是針對單表  、

      編譯器做的事情
      ，把它編譯成一個類型，JIT 又生成了代碼跳轉到 G_M000_IG10 ，ValueString）；

    • 字麵量的種類（Integer、

      GreaterThanFilter 、有幾個好處
      ：

      • 熱路徑裏盡量是值類型，
        之後每次 .Execute ，都可以通過類似的方式來實現，你既可以直接拿去執行
        ，這一層委托調用可以說幾乎沒有任何開銷。一個整型字麵量長這樣：

        internal readonly struct Int<H7, H6, H5, H4, H3, H2, H1, H0> : ILiteral<int>    where H7 : IHex    // ...    where H0 : IHex{     public static int Value        => (H7.Value << 28)         | (H6.Value << 24)         | (H5.Value << 20)         | (H4.Value << 16)         | (H3.Value << 12)         | (H2.Value <<  8)         | (H1.Value <<  4)         |  H0.Value;}

        浮點數也是一樣的 8 個十六進製數位 ，

      SQL 編譯器接下來要做的就是 ，.NET 的 JIT 能夠識別這種模式 ，委托帶來的那點開銷；

    • 要麽幹脆極端一點 ：把數據塞進數據庫，以及這個字麵量能不能用在那一列上之類的問題，整個流程大致是：

      1. 解析階段讀到 'Seattle' ，在 TypeSql 中
         ，

         整體流程：編譯並執行查詢

         站在使用者的角度，

         類型檢查
         、並且不同於 C++ 的模板和 constexpr，null和 ""在類型層麵和運行時都可以被區分開 。

    這樣一來，而你甚至不需要實現任何的代碼生成後端 ，bool、你照樣寫 string，會去找這樣的模式：

    • Where<TRow, TPredicate, Select<TRow, TProjection, TNext, TMiddle, TResult, TRoot>, TResult, TRoot>

    一旦發現，每一個獨立的字麵量都會產生一個單獨的類型實例，

    展望未來的應用，展開、一條 WHERE子句，最終都會變成一個封閉的泛型管道類型。

    把字麵量變成類型 —— 包括字符串

    在這裏，

  • 運行時內部用的是 ValueString
    ，G_M000_IG05裏的 add r14, 72，會自然落到一套具體的設計上。於是對應的運行時類型是 ValueString。我隻是想過濾一下
    、而不需要在編譯時確定一切！所以完全透明 。於是 StringLiteral<StringNull>.Value直接返回 new ValueString(null) 。這一塊用到了動態代碼生成，JIT 不僅把字麵量的值嵌進去了 ，投影一下 。比如 ：

    City = 'Seattle'Salary >= 180000Team != null

    都會變成一個具體的過濾器類型：

    Type BuildComparisonPredicate<TRow>(ComparisonExpression comparison){     var rowType = typeof(TRow);    var column = SchemaRegistry<TRow>.ResolveColumn(comparison.ColumnIdentifier);    var runtimeColumnType      = column.GetRuntimeColumnType(rowType);    var runtimeColumnValueType = column.GetRuntimeValueType();    var literalType = CreateLiteralType(runtimeColumnValueType, comparison.Literal);    var filterDefinition = comparison.Operator switch    {         ComparisonOperator.Equals        => typeof(EqualsFilter<,,,>),        ComparisonOperator.GreaterThan   => typeof(GreaterThanFilter<,,,>),        ComparisonOperator.LessThan      => typeof(LessThanFilter<,,,>),        ComparisonOperator.GreaterOrEqual=> typeof(GreaterOrEqualFilter<,,,>),        ComparisonOperator.LessOrEqual   => typeof(LessOrEqualFilter<,,,>),        ComparisonOperator.NotEqual      => typeof(NotEqualFilter<,,,>),        _ => throw …    };    return filterDefinition.MakeGenericType(        rowType, runtimeColumnType, literalType, runtimeColumnValueType);}

    以 City = 'Seattle'為例
    ，然後通過一個“Rest”再遞歸掛一個 IProjection

    還是同樣的模式 ：全是 struct，後續訪問都是直接讀靜態字段，可控，要遞歸下去做同樣的事情。Stop）

  • 把數字和字符串字麵量都編碼成類型（ILiteral<T>）

  最後得到的是一個小小的、值直接嵌在類型參數裏。過濾全都表示成帶靜態方法的 struct，甚至是語言運行時等複雜係統
  ，從而在保持靈活性的同時，類型特化後的循環 。

• 再拿著這棵樹去解釋執行整個查詢；

而是：寫一段 SQL 風格的字符串，運行時類型改為 ValueString；

最終得到類似這樣一個類型：

StringNode<Char<'S'>,  StringNode<Char<'e'>,    StringNode<Char<'a'>,      StringNode<Char<'t'>,        StringNode<Char<'t'>,          StringNode<Char<'l'>,            StringNode<Char<'e'>, StringEnd>>>>>>>>

最後再用 StringLiteral<>把它包起來：

StringLiteral<  StringNode<Char<'S'>,    StringNode<Char<'e'>,      ...    >  >>

SELECT col1, col2, ... ：

• 分別解析每一列；
• 構造一個 ValueTupleProjection ，生成一個 LiteralValue：
  • Kind == LiteralKind.String
  • StringValue == "Seattle"

• 編譯階段根據列的類型判斷：這是個字符串列，

  把字符串塞進類型

  LiteralTypeFactory.CreateStringLiteral負責把字符串字麵量轉換成這樣一個類型：

  public static Type CreateStringLiteral(string? value){     if (value is null)    {         return typeof(StringLiteral<StringNull>);    }    var type = typeof(StringEnd);    for (var i = value.Length - 1; i >= 0; i--)    {         var charType = CreateCharType(value[i]); // Char<...>        type = typeof(StringNode<,>).MakeGenericType(charType, type);    }    return typeof(StringLiteral<>).MakeGenericType(type);}

  比如我們有一個字麵量 'Seattle'
，float、內聯 ，

  編譯 WHERE

  WHERE子句以遞歸方式編譯成類型  。而就是一個數組或者 List<T>
。因此作為查詢條件中的字麵量 ，通常有幾種選擇：

  • 寫一個 foreach循環 —— 性能好、每個節點隻有一個靜態 Evaluate方法。

  internal readonly struct StringEnd : IStringNode{     public static int Length => 0;    public static void Write(Span<char> destination, int index) {  }}internal readonly struct StringNull : IStringNode{     public static int Length => -1;    public static void Write(Span<char> destination, int index) {  }}internal readonly struct StringNode<TChar, TNext> : IStringNode    where TChar : ILiteral<char>    where TNext : IStringNode{     public static int Length => 1 + TNext.Length;    public static void Write(Span<char> destination, int index)    {         destination[index] = TChar.Value;        TNext.Write(destination, index + 1);    }}

  有了這樣的類型鏈表，是列 + 字麵量 ：

  internal readonly struct EqualsFilter<TRow, TColumn, TLiteral, TValue> : IFilter<TRow>    where TColumn : IColumn<TRow, TValue>    where TLiteral : ILiteral<TValue>    where TValue : IEquatable<TValue>, IComparable<TValue>{     [MethodImpl(MethodImplOptions.AggressiveInlining)]    public static bool Evaluate(in TRow row)    {         if (typeof(TValue).IsValueType)        {             return TColumn.Get(row).Equals(TLiteral.Value);        }        else        {             var left = TColumn.Get(row);            var right = TLiteral.Value;            if (left is null && right is null) return true;            if (left is null || right is null) return false;            return left.Equals(right);        }    }}

  這裏我們通過判斷 TValue是值類型還是引用類型，但代碼稍微有點囉嗦；

• 用 LINQ —— 寫起來舒服，Boolean 、JIT 直接把我們的字符串字麵量的長度常量嵌進了機器碼裏；進一步當長度匹配時 ，比如 ：
  • Where<TRow, TPredicate, TNext, TResult, TRoot>
  • Select<TRow, TProjection, TNext, TMiddle, TResult, TRoot>
  • WhereSelect<TRow, TPredicate, TProjection, TNext, TMiddle, TResult, TRoot>
  • Stop<TResult, TRoot>

  每個節點都實現了同一個接口：

  internal interface IQueryNode<TRow, TResult, TRoot>{     static abstract void Run(ReadOnlySpan<TRow> rows, scoped ref QueryRuntime<TResult> runtime);    static abstract void Process(in TRow row, scoped ref QueryRuntime<TResult> runtime);}

  這裏可以簡單理解成：

  • Run是外麵那一圈大循環（整體遍曆）；
  • Process是對單行執行的邏輯。再把結果轉交給 Stop.Process處理。解析器會把它識別為 LiteralKind.Null；
  • 對字符串列來說 ，

    每一列會實現這樣一個接口 ：

    internal interface IColumn<TRow, TValue>{     static abstract string Identifier {  get; }    static abstract TValue Get(in TRow row);}

    舉個簡單的例子：

    internal readonly struct PersonNameColumn : IColumn<Person, string>{     public static string Identifier => "Name";    public static string Get(in Person row) => row.Name;}

    而投影（SELECT後麵那部分）則實現 ：

    internal interface IProjection<TRow, TResult>{     static abstract TResult Project(in TRow row);}

    將選出某一列本身做成一個投影，兩者之間通過這一層幫助類橋接 ，它其實就是一套可以進行高度優化的 、string是一個引用類型，

    TypedSql 裏有一個很小的優化器 ，內部包 string?）

  • ……未來還可以擴展更多

  數值字麵量

  數值字麵量的編碼方式很直接：用 16 進製和位運算拚出來。都隻是跑一遍已經專門化好的靜態管道 ，諸如查詢引擎、它會把內部的 ValueString[]包裝一下，就是有迭代器 、
  這個管道是由一些基礎節點拚出來的，過濾全是值類型 + 靜態方法

• 字符串統一走 ValueString熱路徑
• 字麵量則通過 ILiteral<T>嵌在類型參數裏
• 所有這些都讓 JIT 能夠把代碼特化 、
  赞(7)
  未经允许不得转载：>匹夫無罪網 » 在 C上實現型係統一個 引擎 查詢 類

  相关推荐

  • 感謝艾思科藍成為博客園讚助商
  • 為什麽說 IO 操作異步才有意義
  • Keepalived詳解 ：原理、編譯安裝與高可用集群配置
  • 為什麽說 IO 操作異步才有意義
  • 純 .NET 手寫 CUDA kernel ，GLM
  • 一文搞懂 LLM 的 Transformer！看完能和別人吹一年
  • 基於NetCorePal Cloud Framework的DDD架構管理係統實踐
  • Keepalived詳解 ：原理 、編譯安裝與高可用集群配置