| ▲ | datadrivenangel 2 hours ago | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Does not say what type of model or size they were serving, but one of the traces mentions Maple, which is a 20b model. Still, getting ~70+ tok/s is quite good. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| ▲ | ilaksh 3 minutes ago | parent | next [-] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Not really. It's only 1B active, and he was probably using the 5 gb quant. Also he said it was over 200 tokens per second. But that still not a breakthrough or anything for such a small active set of parameters that is quantized | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| ▲ | risyachka 2 hours ago | parent | prev | next [-] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Fpga is software-driven, model can verify its output easily. Zero surprise it did it | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| ▲ | datadrivenangel 2 hours ago | parent | prev [-] | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
it only cost them $10,000 in Claude API usage. :) | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||