| ▲ | root_axis 3 hours ago | |||||||||||||||||||||||||||||||
There is no "future proof" for >1T param models, there is no present or future where you can run a model that size on consumer hardware. | ||||||||||||||||||||||||||||||||
| ▲ | bewareofscams 3 hours ago | parent | next [-] | |||||||||||||||||||||||||||||||
6 Mac Studios for 100k USD. Consider it a rule of thumb now - 100k to run 1T params, scales linearly. | ||||||||||||||||||||||||||||||||
| ▲ | blints 3 hours ago | parent | prev [-] | |||||||||||||||||||||||||||||||
I don't know that "consumer hardware" is a useful distinction anymore, it's just "what's your budget and what's your speed requirement". | ||||||||||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||||