TensorRTLLM
Melalui model SLM dan TensorRT-LLM, pencarian Bing menjadi lebih cepat, akurat, dan efisien – Beragampengetahuan
Tim Bing Search berbagi bagaimana transisi ke model SLM dan mengintegrasikan TensorRT-LLM dapat membantu menjadikan Bing Search dan Bing Deep Search lebih cepat, akurat, dan hemat biaya. Bing menulis: “Untuk meningkatkan efisiensi, kami melatih model SLM (dengan throughput ~100x lebih tinggi daripada LLM) yang dapat memproses dan memahami kueri penelusuran dengan lebih akurat.” keuntungan. Bing […]