| ▲ | Vibecoding an Inference Chip(ankitg.me) | ||||||||||||||||||||||||||||||||||||||||||||||
| 34 points by ankitvgupta 2 hours ago | 11 comments | |||||||||||||||||||||||||||||||||||||||||||||||
| ▲ | cpldcpu 2 minutes ago | parent | next [-] | ||||||||||||||||||||||||||||||||||||||||||||||
I did something like this with Opus 4.5: https://github.com/cpldcpu/smollm.c It seems implementing transformers is the new "hello world" of AI assisted coding. | |||||||||||||||||||||||||||||||||||||||||||||||
| ▲ | saejox 2 minutes ago | parent | prev | next [-] | ||||||||||||||||||||||||||||||||||||||||||||||
i wonder if we can emulate an FPGA on a rtx 3090? then test it on an AWS EC2 F2 few hours a day. | |||||||||||||||||||||||||||||||||||||||||||||||
| ▲ | chalkycrimp 11 minutes ago | parent | prev | next [-] | ||||||||||||||||||||||||||||||||||||||||||||||
Good chance I'm not the only one thinking this: share the code | |||||||||||||||||||||||||||||||||||||||||||||||
| ▲ | codekansas 23 minutes ago | parent | prev | next [-] | ||||||||||||||||||||||||||||||||||||||||||||||
This is cool Next step is tuning your post training pipeline to optimize your model for your chosen FPGA architecture... | |||||||||||||||||||||||||||||||||||||||||||||||
| ▲ | datadrivenangel an hour ago | parent | prev [-] | ||||||||||||||||||||||||||||||||||||||||||||||
Does not say what type of model or size they were serving, but one of the traces mentions Maple, which is a 20b model. Still, getting ~70+ tok/s is quite good. | |||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||