options

Loops Index

Columns Filter

Level Max Thread Time / Walltime 1x1 (%) Max Thread Time / Walltime 1x2 (%) Max Thread Time / Walltime 1x4 (%) Max Thread Time / Walltime 1x8 (%) Max Thread Time / Walltime 1x16 (%) Max Thread Time / Walltime 1x24 (%) Max Thread Time / Walltime 1x32 (%) Max Thread Time / Walltime 1x40 (%) Max Thread Time / Walltime 1x48 (%) Max Thread Time / Walltime 1x56 (%) Max Thread Time / Walltime 1x64 (%) Max Thread Time / Walltime 1x72 (%) Max Thread Time / Walltime 1x80 (%) Max Thread Time / Walltime 1x88 (%) Max Thread Time / Walltime 1x96 (%) Exclusive Coverage 1x1 (%) Exclusive Coverage 1x2 (%) Exclusive Coverage 1x4 (%) Exclusive Coverage 1x8 (%) Exclusive Coverage 1x16 (%) Exclusive Coverage 1x24 (%) Exclusive Coverage 1x32 (%) Exclusive Coverage 1x40 (%) Exclusive Coverage 1x48 (%) Exclusive Coverage 1x56 (%) Exclusive Coverage 1x64 (%) Exclusive Coverage 1x72 (%) Exclusive Coverage 1x80 (%) Exclusive Coverage 1x88 (%) Exclusive Coverage 1x96 (%) Inclusive Coverage 1x1 (%) Inclusive Coverage 1x2 (%) Inclusive Coverage 1x4 (%) Inclusive Coverage 1x8 (%) Inclusive Coverage 1x16 (%) Inclusive Coverage 1x24 (%) Inclusive Coverage 1x32 (%) Inclusive Coverage 1x40 (%) Inclusive Coverage 1x48 (%) Inclusive Coverage 1x56 (%) Inclusive Coverage 1x64 (%) Inclusive Coverage 1x72 (%) Inclusive Coverage 1x80 (%) Inclusive Coverage 1x88 (%) Inclusive Coverage 1x96 (%) Max Exclusive Time Over Threads 1x1 (s) Max Exclusive Time Over Threads 1x2 (s) Max Exclusive Time Over Threads 1x4 (s) Max Exclusive Time Over Threads 1x8 (s) Max Exclusive Time Over Threads 1x16 (s) Max Exclusive Time Over Threads 1x24 (s) Max Exclusive Time Over Threads 1x32 (s) Max Exclusive Time Over Threads 1x40 (s) Max Exclusive Time Over Threads 1x48 (s) Max Exclusive Time Over Threads 1x56 (s) Max Exclusive Time Over Threads 1x64 (s) Max Exclusive Time Over Threads 1x72 (s) Max Exclusive Time Over Threads 1x80 (s) Max Exclusive Time Over Threads 1x88 (s) Max Exclusive Time Over Threads 1x96 (s) Max Inclusive Time Over Threads 1x1 (s) Max Inclusive Time Over Threads 1x2 (s) Max Inclusive Time Over Threads 1x4 (s) Max Inclusive Time Over Threads 1x8 (s) Max Inclusive Time Over Threads 1x16 (s) Max Inclusive Time Over Threads 1x24 (s) Max Inclusive Time Over Threads 1x32 (s) Max Inclusive Time Over Threads 1x40 (s) Max Inclusive Time Over Threads 1x48 (s) Max Inclusive Time Over Threads 1x56 (s) Max Inclusive Time Over Threads 1x64 (s) Max Inclusive Time Over Threads 1x72 (s) Max Inclusive Time Over Threads 1x80 (s) Max Inclusive Time Over Threads 1x88 (s) Max Inclusive Time Over Threads 1x96 (s) Exclusive Time w.r.t. Wall Time 1x1 (s) Exclusive Time w.r.t. Wall Time 1x2 (s) Exclusive Time w.r.t. Wall Time 1x4 (s) Exclusive Time w.r.t. Wall Time 1x8 (s) Exclusive Time w.r.t. Wall Time 1x16 (s) Exclusive Time w.r.t. Wall Time 1x24 (s) Exclusive Time w.r.t. Wall Time 1x32 (s) Exclusive Time w.r.t. Wall Time 1x40 (s) Exclusive Time w.r.t. Wall Time 1x48 (s) Exclusive Time w.r.t. Wall Time 1x56 (s) Exclusive Time w.r.t. Wall Time 1x64 (s) Exclusive Time w.r.t. Wall Time 1x72 (s) Exclusive Time w.r.t. Wall Time 1x80 (s) Exclusive Time w.r.t. Wall Time 1x88 (s) Exclusive Time w.r.t. Wall Time 1x96 (s) Inclusive Time w.r.t. Wall Time 1x1 (s) Inclusive Time w.r.t. Wall Time 1x2 (s) Inclusive Time w.r.t. Wall Time 1x4 (s) Inclusive Time w.r.t. Wall Time 1x8 (s) Inclusive Time w.r.t. Wall Time 1x16 (s) Inclusive Time w.r.t. Wall Time 1x24 (s) Inclusive Time w.r.t. Wall Time 1x32 (s) Inclusive Time w.r.t. Wall Time 1x40 (s) Inclusive Time w.r.t. Wall Time 1x48 (s) Inclusive Time w.r.t. Wall Time 1x56 (s) Inclusive Time w.r.t. Wall Time 1x64 (s) Inclusive Time w.r.t. Wall Time 1x72 (s) Inclusive Time w.r.t. Wall Time 1x80 (s) Inclusive Time w.r.t. Wall Time 1x88 (s) Inclusive Time w.r.t. Wall Time 1x96 (s) Nb Threads 1x1 Nb Threads 1x2 Nb Threads 1x4 Nb Threads 1x8 Nb Threads 1x16 Nb Threads 1x24 Nb Threads 1x32 Nb Threads 1x40 Nb Threads 1x48 Nb Threads 1x56 Nb Threads 1x64 Nb Threads 1x72 Nb Threads 1x80 Nb Threads 1x88 Nb Threads 1x96 Vectorization Ratio (%) Vector Length Use (%) Speedup If No Scalar Integer Speedup If FP Vectorized Speedup If Fully Vectorized Speedup If Perfect Load Balancing 1x1 Speedup If Perfect Load Balancing 1x2 Speedup If Perfect Load Balancing 1x4 Speedup If Perfect Load Balancing 1x8 Speedup If Perfect Load Balancing 1x16 Speedup If Perfect Load Balancing 1x24 Speedup If Perfect Load Balancing 1x32 Speedup If Perfect Load Balancing 1x40 Speedup If Perfect Load Balancing 1x48 Speedup If Perfect Load Balancing 1x56 Speedup If Perfect Load Balancing 1x64 Speedup If Perfect Load Balancing 1x72 Speedup If Perfect Load Balancing 1x80 Speedup If Perfect Load Balancing 1x88 Speedup If Perfect Load Balancing 1x96 Stride 0 Stride 1 Stride n Stride Unknown Stride Indirect Array Access Efficiency (1x1) Efficiency (1x1) Potential Speed-Up (%) (1x2) Efficiency (1x2) Potential Speed-Up (%) (1x4) Efficiency (1x4) Potential Speed-Up (%) (1x8) Efficiency (1x8) Potential Speed-Up (%) (1x16) Efficiency (1x16) Potential Speed-Up (%) (1x24) Efficiency (1x24) Potential Speed-Up (%) (1x32) Efficiency (1x32) Potential Speed-Up (%) (1x40) Efficiency (1x40) Potential Speed-Up (%) (1x48) Efficiency (1x48) Potential Speed-Up (%) (1x56) Efficiency (1x56) Potential Speed-Up (%) (1x64) Efficiency (1x64) Potential Speed-Up (%) (1x72) Efficiency (1x72) Potential Speed-Up (%) (1x80) Efficiency (1x80) Potential Speed-Up (%) (1x88) Efficiency (1x88) Potential Speed-Up (%) (1x96) Efficiency (1x96) Potential Speed-Up (%) Level Max Thread Time / Walltime Exclusive Coverage Inclusive Coverage Max Exclusive Time Over Threads Max Inclusive Time Over Threads Exclusive Time w.r.t. Wall Time Inclusive Time w.r.t. Wall Time Nb Threads Vectorization Ratio Vector Length Use Speedup If No Scalar Integer Speedup If FP Vectorized Speedup If Fully Vectorized Speedup If Perfect Load Balancing Stride 0 Stride 1 Stride n Stride Unknown Stride Indirect Array Access Efficiency Efficiency Potential Speed-Up
Run 1 Run 2 Run 3 Run 4 Run 5 Run 6 Run 7 Run 8 Run 9 Run 10 Run 11 Run 12 Run 13 Run 14 Run 15
Loop idSource LocationSource FunctionLevelMax Thread Time / Walltime 1x1 (%)Max Thread Time / Walltime 1x2 (%)Max Thread Time / Walltime 1x4 (%)Max Thread Time / Walltime 1x8 (%)Max Thread Time / Walltime 1x16 (%)Max Thread Time / Walltime 1x24 (%)Max Thread Time / Walltime 1x32 (%)Max Thread Time / Walltime 1x40 (%)Max Thread Time / Walltime 1x48 (%)Max Thread Time / Walltime 1x56 (%)Max Thread Time / Walltime 1x64 (%)Max Thread Time / Walltime 1x72 (%)Max Thread Time / Walltime 1x80 (%)Max Thread Time / Walltime 1x88 (%)Max Thread Time / Walltime 1x96 (%)Exclusive Coverage 1x1 (%)Exclusive Coverage 1x2 (%)Exclusive Coverage 1x4 (%)Exclusive Coverage 1x8 (%)Exclusive Coverage 1x16 (%)Exclusive Coverage 1x24 (%)Exclusive Coverage 1x32 (%)Exclusive Coverage 1x40 (%)Exclusive Coverage 1x48 (%)Exclusive Coverage 1x56 (%)Exclusive Coverage 1x64 (%)Exclusive Coverage 1x72 (%)Exclusive Coverage 1x80 (%)Exclusive Coverage 1x88 (%)Exclusive Coverage 1x96 (%)Inclusive Coverage 1x1 (%)Inclusive Coverage 1x2 (%)Inclusive Coverage 1x4 (%)Inclusive Coverage 1x8 (%)Inclusive Coverage 1x16 (%)Inclusive Coverage 1x24 (%)Inclusive Coverage 1x32 (%)Inclusive Coverage 1x40 (%)Inclusive Coverage 1x48 (%)Inclusive Coverage 1x56 (%)Inclusive Coverage 1x64 (%)Inclusive Coverage 1x72 (%)Inclusive Coverage 1x80 (%)Inclusive Coverage 1x88 (%)Inclusive Coverage 1x96 (%)Max Exclusive Time Over Threads 1x1 (s)Max Exclusive Time Over Threads 1x2 (s)Max Exclusive Time Over Threads 1x4 (s)Max Exclusive Time Over Threads 1x8 (s)Max Exclusive Time Over Threads 1x16 (s)Max Exclusive Time Over Threads 1x24 (s)Max Exclusive Time Over Threads 1x32 (s)Max Exclusive Time Over Threads 1x40 (s)Max Exclusive Time Over Threads 1x48 (s)Max Exclusive Time Over Threads 1x56 (s)Max Exclusive Time Over Threads 1x64 (s)Max Exclusive Time Over Threads 1x72 (s)Max Exclusive Time Over Threads 1x80 (s)Max Exclusive Time Over Threads 1x88 (s)Max Exclusive Time Over Threads 1x96 (s)Max Inclusive Time Over Threads 1x1 (s)Max Inclusive Time Over Threads 1x2 (s)Max Inclusive Time Over Threads 1x4 (s)Max Inclusive Time Over Threads 1x8 (s)Max Inclusive Time Over Threads 1x16 (s)Max Inclusive Time Over Threads 1x24 (s)Max Inclusive Time Over Threads 1x32 (s)Max Inclusive Time Over Threads 1x40 (s)Max Inclusive Time Over Threads 1x48 (s)Max Inclusive Time Over Threads 1x56 (s)Max Inclusive Time Over Threads 1x64 (s)Max Inclusive Time Over Threads 1x72 (s)Max Inclusive Time Over Threads 1x80 (s)Max Inclusive Time Over Threads 1x88 (s)Max Inclusive Time Over Threads 1x96 (s)Exclusive Time w.r.t. Wall Time 1x1 (s)Exclusive Time w.r.t. Wall Time 1x2 (s)Exclusive Time w.r.t. Wall Time 1x4 (s)Exclusive Time w.r.t. Wall Time 1x8 (s)Exclusive Time w.r.t. Wall Time 1x16 (s)Exclusive Time w.r.t. Wall Time 1x24 (s)Exclusive Time w.r.t. Wall Time 1x32 (s)Exclusive Time w.r.t. Wall Time 1x40 (s)Exclusive Time w.r.t. Wall Time 1x48 (s)Exclusive Time w.r.t. Wall Time 1x56 (s)Exclusive Time w.r.t. Wall Time 1x64 (s)Exclusive Time w.r.t. Wall Time 1x72 (s)Exclusive Time w.r.t. Wall Time 1x80 (s)Exclusive Time w.r.t. Wall Time 1x88 (s)Exclusive Time w.r.t. Wall Time 1x96 (s)Inclusive Time w.r.t. Wall Time 1x1 (s)Inclusive Time w.r.t. Wall Time 1x2 (s)Inclusive Time w.r.t. Wall Time 1x4 (s)Inclusive Time w.r.t. Wall Time 1x8 (s)Inclusive Time w.r.t. Wall Time 1x16 (s)Inclusive Time w.r.t. Wall Time 1x24 (s)Inclusive Time w.r.t. Wall Time 1x32 (s)Inclusive Time w.r.t. Wall Time 1x40 (s)Inclusive Time w.r.t. Wall Time 1x48 (s)Inclusive Time w.r.t. Wall Time 1x56 (s)Inclusive Time w.r.t. Wall Time 1x64 (s)Inclusive Time w.r.t. Wall Time 1x72 (s)Inclusive Time w.r.t. Wall Time 1x80 (s)Inclusive Time w.r.t. Wall Time 1x88 (s)Inclusive Time w.r.t. Wall Time 1x96 (s)Nb Threads 1x1Nb Threads 1x2Nb Threads 1x4Nb Threads 1x8Nb Threads 1x16Nb Threads 1x24Nb Threads 1x32Nb Threads 1x40Nb Threads 1x48Nb Threads 1x56Nb Threads 1x64Nb Threads 1x72Nb Threads 1x80Nb Threads 1x88Nb Threads 1x96Vectorization Ratio (%)Vector Length Use (%)Speedup If No Scalar IntegerSpeedup If FP VectorizedSpeedup If Fully VectorizedSpeedup If Perfect Load Balancing 1x1Speedup If Perfect Load Balancing 1x2Speedup If Perfect Load Balancing 1x4Speedup If Perfect Load Balancing 1x8Speedup If Perfect Load Balancing 1x16Speedup If Perfect Load Balancing 1x24Speedup If Perfect Load Balancing 1x32Speedup If Perfect Load Balancing 1x40Speedup If Perfect Load Balancing 1x48Speedup If Perfect Load Balancing 1x56Speedup If Perfect Load Balancing 1x64Speedup If Perfect Load Balancing 1x72Speedup If Perfect Load Balancing 1x80Speedup If Perfect Load Balancing 1x88Speedup If Perfect Load Balancing 1x96Stride 0Stride 1Stride nStride UnknownStride IndirectArray Access Efficiency(1x1) Efficiency(1x1) Potential Speed-Up (%)(1x2) Efficiency(1x2) Potential Speed-Up (%)(1x4) Efficiency(1x4) Potential Speed-Up (%)(1x8) Efficiency(1x8) Potential Speed-Up (%)(1x16) Efficiency(1x16) Potential Speed-Up (%)(1x24) Efficiency(1x24) Potential Speed-Up (%)(1x32) Efficiency(1x32) Potential Speed-Up (%)(1x40) Efficiency(1x40) Potential Speed-Up (%)(1x48) Efficiency(1x48) Potential Speed-Up (%)(1x56) Efficiency(1x56) Potential Speed-Up (%)(1x64) Efficiency(1x64) Potential Speed-Up (%)(1x72) Efficiency(1x72) Potential Speed-Up (%)(1x80) Efficiency(1x80) Potential Speed-Up (%)(1x88) Efficiency(1x88) Potential Speed-Up (%)(1x96) Efficiency(1x96) Potential Speed-Up (%)
2416libggml-cpu.so - quants.c:1089-1112 [...]ggml_vec_dot_q8_0_q8_0Single95.5994.1992.7289.5682.6876.3074.6172.2974.2974.3672.6171.2769.6768.7968.6595.8894.8793.4890.6283.9776.7675.4174.7773.8873.5373.8873.5671.3871.2369.6795.8894.8793.4890.6283.9776.7675.4174.7773.8873.5373.8873.5671.3871.2369.67169.9289.8846.1424.7313.9310.6010.149.259.168.788.157.867.737.667.78169.9289.8846.1424.7313.9310.6010.149.259.168.788.157.867.737.667.78169.9289.8845.9324.5213.6310.149.729.048.608.227.837.667.487.447.40169.9289.8845.9324.5213.6310.149.729.048.608.227.837.667.487.447.401248162432404856647280889630.7762.981.21.091.43111.011.021.041.061.061.041.081.091.061.051.061.051.07000000.00100.955.190.927.020.8712.130.7818.560.723.160.5534.220.4739.650.4143.470.3746.40.3448.840.3150.90.2851.120.2652.740.2453.01
1898libggml-cpu.so - ops.cpp:8792-8880 [...]ggml_compute_forward_flash_attn_extInBetween0.910.860.830.870.951.120.660.740.770.800.710.680.720.900.710.910.860.780.690.460.520.460.340.270.250.240.210.200.190.151.261.191.070.940.760.730.830.590.440.460.460.410.380.350.281.610.820.410.240.160.160.090.090.090.090.080.080.080.100.082.231.150.570.330.190.210.170.150.150.170.160.150.140.140.121.610.810.380.190.070.070.060.040.030.030.030.020.020.020.022.231.120.520.250.120.100.110.070.050.050.050.040.040.040.0312481616323232333232323532034.342.262.851.1911.021.091.32.171.521.561.852.022.031.61.541.561.991.71NANANANANA0.00100.990.011.0601.0801.3400.970.020.860.070.970.011.0501.0200.9801.0100.950.010.90.021.050
53libggml-cpu.so - ggml-cpu.c:1183-1194 [...]ggml_compute_forward_mul_matInnermost0.520.420.580.540.530.430.370.350.360.250.310.320.230.360.310.520.400.460.460.340.260.220.210.160.130.130.120.090.100.080.520.400.460.460.340.260.220.210.160.130.130.120.090.100.080.920.400.290.150.090.060.050.050.050.030.040.040.030.040.040.920.400.290.150.090.060.050.050.050.030.040.040.030.040.040.920.380.220.120.050.030.030.030.020.010.010.010.010.010.010.920.380.220.120.050.030.030.030.020.010.010.010.010.010.011248162432394749596265798105011211.061.31.211.671.751.831.762.361.912.462.422.13.573.4410000100.00101.2201.0300.920.041.0501.101.0300.910.021.0101.1701.070101.1601.0201.090
1910libggml-cpu.so - vec.h:491-497ggml_compute_forward_flash_attn_extInnermost0.350.340.320.380.620.430.770.590.530.590.800.770.810.630.570.350.330.290.250.300.210.380.240.170.210.210.200.180.150.130.350.330.290.250.300.210.380.240.170.210.210.200.180.150.130.620.320.160.100.110.060.110.070.060.070.090.090.090.070.060.620.320.160.100.110.060.110.070.060.070.090.090.090.070.060.620.310.140.070.050.030.050.030.020.020.020.020.020.020.010.620.310.140.070.050.030.050.030.020.020.020.020.020.020.01124816163232323232323232334010011111.031.111.572.181.482.22.082.221.732.041.881.991.631.6920000100.0010101.0801.1500.790.060.940.010.40.230.530.110.650.060.470.110.430.120.420.120.420.10.440.080.480.07
908libggml-cpu.so - vec.cpp:311-316ggml_vec_dot_f16Single0.300.350.520.470.890.761.210.940.851.061.161.221.261.481.100.300.340.400.370.450.360.670.470.320.360.400.390.320.310.270.300.340.400.370.450.360.670.470.320.360.400.390.320.310.270.530.340.260.130.150.100.170.120.110.130.130.140.140.160.130.530.340.260.130.150.100.170.120.110.130.130.140.140.160.130.530.320.200.100.070.050.090.060.040.040.040.040.030.030.030.530.320.200.100.070.050.090.060.040.040.040.040.030.030.03124816163232323232323232325010011111.061.321.322.11.51.951.71.931.791.561.511.71.91.4620000100.00100.830.060.670.130.670.120.460.240.470.190.190.540.230.370.30.220.230.280.190.320.180.320.20.260.190.250.190.22
2417libggml-cpu.so - quants.c:910-948 [...]ggml_vec_dot_q8_0_q8_0Single0.260.250.250.250.210.220.220.160.200.170.220.140.180.220.220.260.240.250.240.200.190.140.140.120.160.190.070.140.020.010.260.240.250.240.200.190.140.140.120.160.190.070.140.020.010.470.230.130.070.040.030.030.020.030.020.030.020.020.030.030.470.230.130.070.040.030.030.020.030.020.030.020.020.030.030.470.230.120.060.030.030.020.020.010.020.020.010.010.000.000.470.230.120.060.030.030.020.020.010.020.020.010.010.000.001248162432404856646480211412.556.05111.611.021.021.111.091.21.671.21.791.151.31.851.442.842.50007050.00101.0100.950.010.910.020.890.020.760.050.790.030.690.040.680.040.470.090.370.120.870.010.410.082.4703.260
56libggml-cpu.so - ggml-cpu.c:1125-1395 [...]ggml_compute_forward_mul_matInBetween0.200.280.280.330.270.250.260.350.410.420.360.410.500.540.530.200.240.250.240.160.160.150.180.170.170.180.170.200.190.200.851.021.041.040.780.610.510.550.490.490.350.320.320.330.300.350.260.140.090.040.040.040.050.050.050.040.050.050.060.061.521.070.550.330.170.120.110.140.100.110.070.070.070.090.070.350.230.120.060.030.020.020.020.020.020.020.020.020.020.021.520.970.510.280.130.080.070.070.060.050.040.030.030.030.0312481624324046556372778694048.211211.181.131.431.711.71.92.122.532.622.072.542.622.972.87NANANANANA0.00100.780.050.710.070.690.070.820.030.70.050.580.060.410.110.380.10.330.120.280.130.270.130.210.160.20.150.170.16
54libggml-cpu.so - ggml-cpu.c:1125-1395 [...]ggml_compute_forward_mul_matInnermost0.140.420.360.430.440.430.260.390.320.420.130.140.090.180.090.140.390.330.350.280.190.150.160.170.190.040.020.030.040.020.140.390.330.350.280.190.150.160.170.190.040.020.030.040.020.240.400.180.120.080.060.040.050.040.050.020.020.010.020.010.240.400.180.120.080.060.040.050.040.050.020.020.010.020.010.250.370.160.090.050.020.020.020.020.020.000.000.000.000.000.250.370.160.090.050.020.020.020.020.020.000.000.000.000.0012481624313848553828374141046.8811211.091.131.291.682.481.842.52.112.322.152.41.722.481.74NANANANANA0.00100.330.260.380.20.330.230.340.190.420.110.410.090.320.110.260.120.20.150.901.3701.1100.730.011.020
2401libggml-cpu.so - ggml-impl.h:355-404 [...]quantize_row_q8_0Single0.130.150.190.270.360.360.440.390.280.210.220.230.230.180.220.130.120.150.130.160.190.170.160.120.100.080.070.070.050.070.130.120.150.130.160.190.170.160.120.100.080.070.070.050.070.230.150.090.080.060.050.060.050.040.030.030.030.030.020.030.230.150.090.080.060.050.060.050.040.030.030.030.030.020.030.230.120.070.040.030.020.020.020.010.010.010.010.010.010.010.230.120.070.040.030.020.020.020.010.010.010.010.010.010.011248162432394548525162626851.6762.31.131.031.2911.261.332.112.342.052.822.642.332.022.482.62.772.512.39000000.00101.0200.820.030.820.020.560.070.40.110.340.110.310.110.340.080.390.060.440.040.470.040.410.040.470.030.320.05
916libggml-cpu.so - vec.h:1045-1072 [...]ggml_vec_swiglu_f32Innermost0.110.240.330.921.541.911.321.681.542.082.142.312.842.341.590.110.120.080.120.110.090.040.050.030.040.040.040.040.030.020.110.120.080.120.110.090.040.050.030.040.040.040.040.030.020.190.230.170.250.260.260.180.210.190.250.240.250.320.260.180.190.230.170.250.260.260.180.210.190.250.240.250.320.260.180.190.120.040.030.020.010.010.010.000.000.000.000.000.000.000.190.120.040.030.020.010.010.010.000.000.000.000.000.000.0012114211114222373.3391.671.041111.96113.781.9611113.761.961.971.962.84NANANANANA0.00100.810.021.1500.740.030.680.030.690.031.0400.870.010.9800.760.010.730.010.710.010.580.020.70.010.980
541libggml-cpu.so - binary-ops.cpp:18-32 [...]ggml_compute_forward_mulInnermost0.030.070.100.180.210.360.660.550.570.760.670.910.950.540.840.030.030.030.020.010.020.020.010.010.010.010.020.010.010.010.030.030.030.020.010.020.020.010.010.010.010.020.010.010.010.050.060.050.050.030.050.090.070.070.090.080.100.110.060.090.050.060.050.050.030.050.090.070.070.090.080.100.110.060.090.060.030.010.010.000.000.000.000.000.000.000.000.000.000.000.060.030.010.010.000.000.000.000.000.000.000.000.000.000.00111111111113111023.68115.33111111111112.731110003050.00100.850.011.101.0901.5501.0800.60.010.7700.7700.60.010.7200.490.010.510.010.900.570
437libggml-cpu.so - binary-ops.cpp:10-32 [...]ggml_compute_forward_add_non_quantizedInnermost0.020.050.080.240.240.320.660.510.730.890.940.410.630.760.490.020.020.020.030.020.010.020.010.020.020.020.010.010.010.010.020.020.020.030.020.010.020.010.020.020.020.010.010.010.010.040.050.040.060.040.050.090.060.090.110.100.040.070.090.050.040.050.040.060.040.050.090.060.090.110.100.040.070.090.050.040.020.010.010.000.000.000.000.000.000.000.000.000.000.000.040.020.010.010.000.000.000.000.000.000.000.000.000.000.00111111312111121025115.331111112.711.8911111.8910003050.00100.890100.610.010.9800.8800.390.010.610.010.410.010.370.010.370.010.8700.5600.440.010.710
0libggml-cpu.so - ggml-cpu.c:3228-3229 [...]ggml_cpu_fp32_to_fp16Single0.020.040.050.070.150.140.260.120.320.040.220.140.090.040.130.020.020.030.030.020.020.020.020.020.000.020.010.010.010.010.020.020.030.030.020.020.020.020.020.000.020.010.010.010.010.040.040.030.020.030.020.040.020.040.010.030.010.010.010.010.040.040.030.020.030.020.040.020.040.010.030.010.010.010.010.040.020.010.010.000.000.000.000.000.000.000.000.000.000.000.040.020.010.010.000.000.000.000.000.000.000.000.000.000.0012355109147417810141291.6798.6111111.561.51.672.782.673.712.473.2913.721.8212.2520000100.00100.780.010.70.010.580.010.7700.460.010.40.010.410.010.40.011.7100.30.010.5700.6200.4900.430
1895libggml-cpu.so - vec.h:375-751 [...]ggml_compute_forward_flash_attn_extInBetween0.010.000.030.020.030.040.070.080.080.040.090.050.140.040.040.010.000.010.000.000.000.000.010.010.000.010.000.000.000.001.270.001.080.950.780.740.840.600.460.470.470.420.390.350.280.030.000.020.010.000.010.010.010.010.010.010.010.010.000.002.250.000.470.220.190.120.140.160.140.140.130.140.140.140.110.030.000.000.000.000.000.000.000.000.000.000.000.000.000.002.250.000.530.260.130.100.110.070.050.050.050.040.040.040.031012213611462445044.592.011.341.341011111.51.51.6911.51211NANANANANA0.00101.6602.4802.4604.9201.2300.6100.380.011.2200.6102.4400.8101.2300.980
2503libllama.so - stl_heap.h:140-263 [...]llama_token_data_array_partial_sort_inplace(llama_token_data_array*, int)Outermost0.010.040.030.070.180.220.260.230.650.300.310.360.180.220.400.010.020.010.010.010.010.010.010.010.010.010.010.000.000.000.010.020.010.010.010.010.010.010.010.010.010.010.000.000.000.030.040.010.020.030.030.040.030.080.040.040.040.020.030.040.030.050.010.020.030.030.040.040.080.040.040.040.030.030.040.030.020.000.000.000.000.000.000.000.000.000.000.000.000.000.030.020.000.000.000.000.000.000.000.000.000.000.000.000.00111111111111111032.994.6713.53111111111111111NANANANANA0.00100.620.011.6601.2400.8200.8200.700.8200.310.010.700.700.6101.2200.9800.540
3227libllama.so - new_allocator.h:172-172 [...]std::_Hashtable<std::pair<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > >, std::pair<std::pai...Single0.010.010.030.040.030.070.110.080.120.080.130.050.090.090.090.010.010.010.000.000.000.000.000.000.000.000.000.000.000.000.010.010.010.000.000.000.000.000.000.000.000.000.000.000.000.020.010.010.010.000.010.020.010.020.010.010.010.010.010.010.020.010.010.010.000.010.020.010.020.010.010.010.010.010.010.020.010.000.000.000.000.000.000.000.000.000.000.000.000.000.020.010.000.000.000.000.000.000.000.000.000.000.000.000.00111111111111111050112111111111111111NANANANANA0.0010201.3301.9803.9401.9701.3101.9701.3101.9501.303.9101.9501.9601.960
1591libggml-cpu.so - ops.cpp:6446-6456 [...]ggml_compute_forward_rope_f32(ggml_compute_params const*, ggml_tensor*, bool)Innermost0.010.020.030.070.060.070.070.080.120.170.180.090.090.090.090.010.020.010.020.010.010.010.010.020.010.010.010.010.010.010.010.020.010.020.010.010.010.010.020.010.010.010.010.010.010.020.020.010.020.010.010.010.010.010.020.020.010.010.010.010.020.020.010.020.010.010.010.010.010.020.020.010.010.010.010.020.020.010.010.000.000.000.000.000.000.000.000.000.000.000.020.020.010.010.000.000.000.000.000.000.000.000.000.000.00123556510138111512151155.5643.751.071.582.3511.331.821.671.331.431.541.862.912.441.761.711.581.570012058.33100.670.010.800.40.010.6600.440.010.5600.30.010.190.020.360.010.220.010.230.010.280.010.210.010.280.01
41exec - main.cpp:663-681 [...]mainInnermost0.000.000.000.000.000.000.000.000.000.000.000.000.000.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000000000000010032.56115.3000000000000010NANANANANA0.0010
978libggml-base.so - new_allocator.h:172-172 [...]bool gguf_read_emplace_helper<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > >(gguf_reader const&, std::vector<gguf_kv, std::allocator<gguf_kv> >&, std::__cxx11::basic_string<c...Innermost0.000.000.000.000.030.000.000.000.000.000.000.050.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000010000001000050112000010000001000NANANANANA0.001010
1394libllama.so - basic_string.h:223-294 [...]replace_all(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, std::__cxx11::basic_string<...Single0.000.000.000.000.030.000.000.000.000.000.000.000.000.000.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000010000000001043.86112.68000010000000001NANANANANA0.001010
1561libllama.so - llama-kv-cache.cpp:1239-1436 [...]llama_kv_cache::set_input_kq_mask(ggml_tensor*, llama_ubatch const*, bool) constInnermost0.000.000.000.000.000.000.000.000.000.000.000.000.000.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000000000000010024.432.7515.1000000000000010NANANANANA0.0010
61libggml-cpu.so - ggml-cpu.c:2129-2860 [...]ggml_graph_planOutermost0.000.000.000.000.030.040.000.000.000.000.000.050.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000011000001000038.28113.71000011000001000NANANANANA0.00101010
689libllama.so - shared_ptr_base.h:337-1068 [...]llama_context::process_ubatch(llama_ubatch const&, llm_graph_type, llama_memory_context_i*, ggml_status&)Single0.000.000.000.000.000.000.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000000100000000042.19113.72000000100000000NANANANANA0.0010
1517libllama.so - stl_tree.h:2111-2115 [...]llama_kv_cache::apply_ubatch(llama_kv_cache::slot_info const&, llama_ubatch const&)Innermost0.000.000.000.000.030.000.000.000.000.000.000.050.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000010000001000NANA1NANA0000100000010000001125.001010
1564libllama.so - stl_algobase.h:952-952llama_kv_cache::set_input_kq_mask(ggml_tensor*, llama_ubatch const*, bool) constSingle0.000.000.000.000.030.000.040.000.000.000.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0000001010001000001001110000101000100000010075.00101010
489libggml-base.so - ggml-quants.c:408-412 [...]dequantize_row_q8_0Single0.000.000.010.020.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0000110000000000034.6952.551.211.031.39001100000000000000000.001010
1074libggml-cpu.so - ops.cpp:711-713ggml_compute_forward_dupInnermost0.000.000.000.020.000.000.000.000.000.000.000.000.050.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000001000000001000501120001000000001001001075.001010
2852libllama.so - stl_uninitialized.h:642-642 [...]llama_vocab::impl::load(llama_model_loader&, LLM_KV const&)Innermost0.000.000.000.000.000.000.000.040.000.000.000.000.050.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000000010000100032.81113.510000000100001000012058.331010
3083libllama.so - hashtable.h:2074-2077 [...]std::_Hashtable<std::pair<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > >, std::pair<std::pai...Single0.000.000.000.020.030.000.040.160.000.080.000.140.050.090.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.020.000.010.000.010.010.010.000.000.000.000.010.000.000.000.020.000.010.000.010.010.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000110110101110050112000110110101110NANANANANA0.001010101010101010
2917libllama.so - new_allocator.h:172-172 [...]llama_decode_text(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&)Single0.000.000.000.000.030.000.000.000.000.000.000.000.000.000.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000010000000001039.43114.37000010000000001NANANANANA0.001010
58libggml-cpu.so - ggml-cpu.c:1289-1297ggml_compute_forward_mul_matInnermost0.000.000.000.000.030.040.070.040.040.080.040.140.090.090.090.000.000.000.000.000.000.010.000.010.010.010.010.000.010.010.000.000.000.000.000.000.010.000.010.010.010.010.000.010.010.000.000.000.000.000.010.010.000.010.010.010.010.010.010.010.000.000.000.000.000.010.010.000.010.010.010.010.010.010.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000021631291016720180501120000111.71111.812.531.751.821.891001075.001010101010101010101010
1467libllama.so - llama-kv-cache.cpp:572-580 [...]llama_kv_cache::prepare(std::vector<llama_ubatch, std::allocator<llama_ubatch> > const&)Outermost0.000.000.000.000.000.000.000.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000000010000000039.58115.19000000010000000NANANANANA0.0010
408libggml-cpu.so - traits.cpp:26-30 [...]ggml_cpu_extra_work_sizeSingle0.000.010.000.000.000.000.000.000.080.040.000.000.000.000.040.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.010.000.000.000.000.000.000.000.010.000.000.000.000.000.000.010.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.00010000001100001048.05112.690100000011000010012062.1910101010
2908libllama.so - llama-vocab.cpp:2982-3076 [...]llama_vocab::impl::token_to_piece(int, char*, int, int, bool) constInBetween0.000.000.000.000.000.000.000.000.000.000.000.050.090.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.010.000.000.000.000.000.000.000.000.000.000.000.000.000.010.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000000000001100035.33117.74000000000001100NANANANANA0.001010
55libggml-cpu.so - ggml-cpu.c:1125-1395 [...]ggml_compute_forward_mul_matOutermost0.000.010.010.000.000.040.040.040.040.000.040.050.050.040.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.001.031.040.000.000.610.510.550.500.000.350.320.320.330.000.000.010.000.000.000.000.010.000.000.000.010.000.000.000.000.001.070.560.000.000.110.070.070.060.000.050.040.030.040.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.980.510.000.000.080.070.070.060.000.040.030.030.030.00021001211041110NANANANANA01.331001111011110NANANANANA0.0010101010101010101010
1484exec - stl_algobase.h:401-405 [...]std::vector<std::__cxx11::sub_match<__gnu_cxx::__normal_iterator<char const*, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > > >, std::allocator<std::__cxx11::sub_match<__gnu_cxx::__no...Single0.000.000.010.000.060.040.070.040.000.040.130.090.000.000.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.010.000.000.000.010.010.000.000.000.000.000.000.000.010.000.010.000.000.000.010.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00001011110111001035.68112.990010111101110010020075.00101010101010101010
1916libggml-cpu.so - vec.h:677-682ggml_compute_forward_flash_attn_extInnermost0.000.000.020.040.060.040.040.000.040.040.040.140.090.180.040.000.000.010.000.010.000.000.000.000.000.010.010.000.000.000.000.000.010.000.010.000.000.000.000.000.010.010.000.000.000.000.000.010.010.010.000.000.000.000.010.000.010.010.020.010.000.000.010.010.010.000.000.000.000.010.000.010.010.020.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.0000114310241177635010011100111.61101112.331.752.67110000100.00101010101010101010101010
1488libllama.so - llama-kv-cache.cpp:751-846 [...]llama_kv_cache::find_slot(llama_ubatch const&, bool) constInBetween0.000.000.000.000.000.000.000.000.000.000.000.000.000.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000000000000010035.98114.17000000000000010NANANANANA0.0010
2479libllama.so - llama-sampling.cpp:370-463 [...]llama_sampler_chain_apply(llama_sampler*, llama_token_data_array*)Single0.000.000.000.000.000.000.000.000.000.000.000.000.050.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000000000000001000501120000000000001000012058.3310
2505libllama.so - stl_heap.h:229-235llama_token_data_array_partial_sort_inplace(llama_token_data_array*, int)Innermost0.000.000.000.000.000.000.000.040.000.000.000.050.050.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.010.000.000.000.000.000.000.000.000.000.000.000.000.000.010.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000000010001110032.14615.33000000010001110NANANANANA0.0010101010
1894libggml-cpu.so - ops.cpp:8884-8885 [...]ggml_compute_forward_flash_attn_extInnermost0.000.000.000.020.000.000.000.040.000.040.000.050.000.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000100010101010050111.60001000101010101010087.501010101010
72libggml-cpu.so - ggml-cpu.c:533-2897 [...]ggml_graph_compute_threadInnermost0.000.000.000.000.120.220.260.390.810.801.201.222.031.171.500.000.000.000.000.020.060.090.130.170.300.300.340.500.470.580.000.000.000.000.020.060.090.130.170.300.300.340.500.470.580.000.000.000.000.020.030.040.050.100.090.140.140.230.130.170.000.000.000.000.020.030.040.050.100.090.140.140.230.130.170.000.000.000.000.000.010.010.020.020.030.030.040.050.050.060.000.000.000.000.000.010.010.020.020.030.030.040.050.050.060000615223038445155647784041.15113.4400002.182.372.232.424.042.283.492.963.532.342.45NANANANANA0.001010101010101010101010
1516libllama.so - stl_map.h:511-511 [...]llama_kv_cache::apply_ubatch(llama_kv_cache::slot_info const&, llama_ubatch const&)InBetween0.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00001000000000000041.07114.26001000000000000NANANANANA0.0010
1397libllama.so - basic_string.h:194-4082 [...]gguf_kv_to_str[abi:cxx11](gguf_context const*, int)Outermost0.000.000.000.000.000.000.000.000.000.000.000.000.000.000.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000000000000001NANANANANA000000000000001NANANANANA0.0010
1355libggml-cpu.so - ops.cpp:4319-4338 [...]ggml_compute_forward_rms_normInBetween0.000.000.000.000.000.000.000.000.040.000.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.050.000.050.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000000001010000045.441.822.313.360000000010100000002.33050.001010
3065libllama.so - hashtable.h:2627-2644 [...]std::_Hashtable<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >, std::pair<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const, int>, std::alloca...Outermost0.000.000.000.000.000.040.000.000.000.000.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000001000010000NANANANANA000001000010000NANANANANA0.001010
913libggml-cpu.so - vec.cpp:402-405 [...]ggml_vec_swiglu_f32Outermost0.000.000.000.020.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000001000000000003.750.694.8812.58000100000000000NANANANANA0.0010
141libggml-base.so - ggml-alloc.c:777-894 [...]ggml_gallocr_alloc_graphOutermost0.000.000.000.000.000.000.000.000.000.000.000.000.000.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000000000000010043.75115.33000000000000010NANANANANA0.0010
1498libggml-cpu.so - ops.cpp:5454-5454ggml_compute_forward_get_rowsSingle0.000.000.000.020.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000100000000000NANA1NANA000100000000000NANANANANA0.0010
2843libllama.so - new_allocator.h:172-172 [...]llama_vocab::impl::load(llama_model_loader&, LLM_KV const&)InBetween0.000.000.000.000.000.000.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000000100000000038.166.0911.07000000100000000NANANANANA0.0010
2499libllama.so - stl_heap.h:140-142llama_token_data_array_partial_sort_inplace(llama_token_data_array*, int)Innermost0.000.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000010000000000034.38113.930000100000000000002050.0010
1896libggml-cpu.so - ops.cpp:8777-8919 [...]ggml_compute_forward_flash_attn_extOutermost0.000.000.000.000.030.000.040.040.040.000.000.050.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.780.000.840.600.460.000.000.420.000.000.000.000.000.000.000.000.000.010.010.010.000.000.000.000.000.000.000.000.000.000.200.000.120.060.120.000.000.110.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.130.000.110.070.050.000.000.040.000.000.00000010111001000050112000010111001000NANANANANA0.001010101010
2877libllama.so - new_allocator.h:172-172 [...]llama_vocab::impl::load(llama_model_loader&, LLM_KV const&)Single0.000.020.000.000.030.000.000.040.040.080.130.050.000.090.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.020.000.000.000.000.000.000.000.010.010.010.000.010.000.000.020.000.000.000.000.000.000.000.010.010.010.000.010.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.00010010011111010045.874.8711.13010010011111010NANANANANA0.001010101010101010
299libggml-cpu.so - repack.cpp:1968-1981 [...]ggml_backend_cpu_repack_buffer_type()Single0.000.000.000.000.000.000.000.000.000.000.000.000.000.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000000000000010050112000000000000010NANANANANA0.0010
1499libggml-cpu.so - ops.cpp:5371-5517 [...]ggml_compute_forward_get_rowsInBetween0.000.000.000.000.000.000.000.000.000.000.000.000.000.000.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000000000000001050.94111000000000000001NANANANANA0.0010
1398libllama.so - ostream:578-673 [...]gguf_kv_to_str[abi:cxx11](gguf_context const*, int)Innermost0.000.000.030.000.000.040.000.000.000.040.040.000.000.040.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00001001000110010037116.09001001000110010NANANANANA0.001010101010
2851libllama.so - basic_string.h:218-1084 [...]llama_vocab::impl::load(llama_model_loader&, LLM_KV const&)Innermost0.000.000.000.000.000.000.000.000.000.000.000.000.000.000.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000000000000001040.58113.94000000000000001NANANANANA0.0010
1327libllama.so - llama-graph.cpp:499-506 [...]llm_graph_result::can_reuse(llm_graph_params const&)Single0.000.000.000.000.000.000.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000000100000000036.61114.16000000100000000NANANANANA0.0010
3084libllama.so - hashtable.h:2627-2644 [...]std::_Hashtable<std::pair<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > >, std::pair<std::pai...Outermost0.000.000.020.000.030.040.000.040.000.000.040.000.000.000.040.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.010.010.000.010.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00001011010010001NANANANANA001011010010001NANANANANA0.00101010101010
60libggml-cpu.so - ggml-cpu.c:1289-1297ggml_compute_forward_mul_matOutermost0.000.000.000.000.030.000.040.040.000.040.040.050.050.040.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.010.010.000.010.010.010.010.020.010.000.000.000.000.010.000.000.010.000.010.010.000.010.010.000.000.000.000.000.010.000.000.010.000.010.010.000.010.010.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000000101302221330501120000101101111111001075.00101010101010101010
296libggml-base.so - ggml-backend.cpp:363-752 [...]ggml_backend_sched_backend_from_buffer(ggml_backend_sched*, ggml_tensor const*, ggml_tensor const*)Single0.000.000.000.020.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000100000000000050112000100000000000NANANANANA0.0010
1505libggml-cpu.so - vec.h:89-89ggml_compute_forward_get_rowsInnermost0.000.000.000.000.000.040.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000001100000000083.33111.090000011000000000020075.001010
1508libggml-cpu.so - ops.cpp:5552-5563ggml_compute_forward_set_rowsInnermost0.000.000.000.000.000.000.000.000.000.040.000.050.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000000000001010000501120000000001010003002080.001010
59libggml-cpu.so - ggml-cpu.c:1289-1297ggml_compute_forward_mul_matInBetween0.000.000.000.020.000.040.040.040.040.080.040.000.050.040.090.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.010.000.010.010.010.000.010.020.010.000.000.000.010.000.010.000.000.010.010.000.000.000.010.010.000.000.000.010.000.010.010.000.010.010.010.000.000.010.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000001042122402670501120001011111.3310111.751001075.0010101010101010101010
1497libggml-cpu.so - ops.cpp:5352-5517 [...]ggml_compute_forward_get_rowsOutermost0.000.000.000.000.000.000.000.000.040.040.040.000.050.040.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.010.000.000.000.000.000.000.000.000.000.000.000.000.010.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000000001220113046.88112000000001110111NANANANANA0.00101010101010
483libllama.so - llama-batch.cpp:95-100llama_batch_allocr::init(llama_batch const&, llama_vocab const&, llama_memory_i const*, unsigned int, unsigned int, bool)Innermost0.000.000.000.000.000.000.000.000.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000000001000000029.17114.570000000010000001001075.0010
2039libggml-cpu.so - ops.cpp:3748-3757 [...]ggml_compute_forward_gluSingle0.000.000.000.000.000.000.000.000.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000000001000000046.09112.6900000000100000010000100.0010
1477libllama.so - llama-kv-cells.h:125-129 [...]llama_kv_cache::prepare(std::vector<llama_ubatch, std::allocator<llama_ubatch> > const&)Innermost0.000.000.000.000.000.000.000.000.000.000.000.000.000.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000000000000010029.17114.440000000000000103000537.5010
1317libggml-cpu.so - ops.cpp:4319-4365 [...]ggml_compute_forward_rms_normInBetween0.000.000.000.000.030.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.020.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000000100000000000.7948.773.451.151.44000010000000000NANANANANA0.0010
1474libllama.so - llama-kv-cells.h:14-14 [...]llama_kv_cache::prepare(std::vector<llama_ubatch, std::allocator<llama_ubatch> > const&)Innermost0.000.000.000.000.000.000.000.000.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000000000010000000501120000000010000000001050.0010
2939libllama.so - stl_tree.h:1963-1964 [...]llama_vocab_is_eogSingle0.000.000.000.000.000.000.000.000.000.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000000000001000000501120000000001000000001050.0010
2859libllama.so - stl_vector.h:993-1912 [...]llama_vocab::impl::load(llama_model_loader&, LLM_KV const&)Innermost0.000.000.000.000.000.000.000.000.000.000.040.000.000.000.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000000000010001046.25113.02000000000010001NANANANANA0.001010
425libllama.so - stl_tree.h:1963-1964 [...]LLM_TN_IMPL::str[abi:cxx11]() constSingle0.000.000.000.020.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000001000000000000501120001000000000000001050.0010
453libllama.so - stl_bvector.h:100-1542 [...]llama_batch_allocr::init(llama_batch const&, llama_vocab const&, llama_memory_i const*, unsigned int, unsigned int, bool)InBetween0.000.000.000.000.000.000.000.000.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000000000010000006.8456.142.311.2000000001000000NANANANANA0.0010
2874libllama.so - llama-vocab.cpp:2160-2301 [...]llama_vocab::impl::load(llama_model_loader&, LLM_KV const&)Innermost0.000.000.000.000.030.040.040.040.000.040.040.050.050.040.040.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.010.010.000.000.000.000.000.000.000.000.000.000.000.000.000.010.010.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00000011110111111043.52114.59000011110111111NANANANANA0.0010101010101010101010
×