DeepSeek AI eto shosta kivabe? 5ta trick | DeepSeek Bangla

দুই বছর ধরে সবার প্রশ্ন, DeepSeek এত কম দামে AI বেচে কীভাবে? এই সপ্তাহে DeepSeek ওদের production inference engine DeepInfer ওপেন সোর্স করেছে, আর নিজেদের ডেটা সেন্টারের আসল সংখ্যাও দিয়েছে: একটা ক্লাস্টারে দিনে ১৫৫ ট্রিলিয়ন টোকেন, আর রাতের ডিসকাউন্ট দামেও প্রতি GPU-ঘণ্টায় প্রায় ৩৮ ডলার আয়। পাঁচটা ট্রিক, একদম সহজ বাংলায়: ১. মেমরি: KVCache Storage, DeepSeek-এর 3FS-এ। KV cache রাখে ৩ থেকে ৭ দিন, প্রায় ১০০ PiB SSD-তে (cache hit প্রায় ৫০ গুণ সস্তা) ২. রান্নাঘর দুই ভাগ: prefill/decode (E/P/D) disaggregation, TTFT আর TBT আলাদা করে টিউন ৩. এক্সপার্ট: mixture of experts, Wide-EP দিয়ে ৬৪ থেকে ১২৮ GPU-তে, আর EPLB ব্যস্ত এক্সপার্টদের কপি করে ৪. আবার পড়া নয়: CED (causal encoder-decoder) ডিজাইন, আর SWA bounded replay দিয়ে শুধু শেষের ১২৮টা টোকেন ৫. আগে থেকে আন্দাজ: DSpark speculative decoding, confidence-scheduled verification সহ ছোট ছোট শর্ত: ৮০ শতাংশের বেশি মার্জিনের হিসাবটা Latent Space-এর আনুমানিক হিসাব, DeepSeek-এর না। KV cache সিস্টেম আর load balancer ওপেন সোর্স রিলিজে নেই, আর সবচেয়ে ছোট কাজের সেটআপেও লাগে ৬৪ + ৬৪টা GPU। 0:00 প্রশ্নটা 1:22 রসিদ 2:38 ট্রিক ১ · মেমরি 4:15 ট্রিক ২ · রান্নাঘর দুই ভাগ 5:30 ট্রিক ৩ · এক্সপার্ট 6:23 ট্রিক ৪ · আবার পড়া নয় 7:04 ট্রিক ৫ · আগে থেকে আন্দাজ 7:40 বাক্সে আরও দুইটা 8:17 ছোট ছোট শর্ত 9:31 কেন জরুরি 9:56 তোমার পালা সোর্স: DeepInfer repo: https://github.com/deepseek-ai/DeepInfer DeepSeek deployment Q&A: https://github.com/deepseek-ai/DeepInfer/b... deepseek-recipe: https://github.com/deepseek-ai/deepseek-re... Latent Space AINews (মার্জিনের হিসাব, vLLM তুলনা): https://latent.space/p/ainews-deepseek-dee... তুমি হলে কোনটা নিতে, সস্তা আর ওপেন, নাকি বড় নাম? কমেন্টে জানাও। #DeepSeek #DeepInfer #AI #Bangla #বাংলা #OpenSource