▲ | diggan 2 days ago | |||||||||||||||||||||||||||||||||||||||||||||||||
> There are already “infinite” websites like these on the Internet. Cool. And how much of the software driving these websites is FOSS and I can download and run it for my own (popular enough to be crawled more than daily by multiple scrapers) website? | ||||||||||||||||||||||||||||||||||||||||||||||||||
▲ | gruez 2 days ago | parent | next [-] | |||||||||||||||||||||||||||||||||||||||||||||||||
Off the top of my head: https://everyuuid.com/ | ||||||||||||||||||||||||||||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||||||||||||||||||||||
▲ | hartator 2 days ago | parent | prev [-] | |||||||||||||||||||||||||||||||||||||||||||||||||
Every not found pages that don’t return a 404 http header is basically an infinite trap. It’s useless to do this though as all crawlers have a way to handle this. It’s very crawler 101. |