| ▲ | Cerebras Disaggregated Inference(cerebras.ai) | |||||||||||||||||||||||||||||||||||||||||||||||||
| 23 points by emschwartz 2 hours ago | 8 comments | ||||||||||||||||||||||||||||||||||||||||||||||||||
| ▲ | aabdi an hour ago | parent | next [-] | |||||||||||||||||||||||||||||||||||||||||||||||||
5x throughput more than b4, same 10x tokens/s as compared to standard. looks like disagg/wide ep is applicable to cerebras chips as well. kind of amazing. https://www.cerebras.ai/blog/how-we-deploy-trillion-paramete... | ||||||||||||||||||||||||||||||||||||||||||||||||||
| ▲ | augment_me an hour ago | parent | prev [-] | |||||||||||||||||||||||||||||||||||||||||||||||||
Have they solved the issue yet where they need to keep running ghost tokens to keep the board hot to prevent it from cracking, which causes massive energy draw in idle, and reduces lifetime by 3 times the estimate? https://culperresearch.com/wp-content/uploads/2026/10/Culper... | ||||||||||||||||||||||||||||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||||||||||||||||||||||