Crawler
IsonSearchBot builds the index behind Ison Search, an Indonesian-language search engine. It reads pages, links back to them, and trains nothing on what it reads.
You are probably here because of this line in your access log:
203.0.113.7 - - [15/Sep/2026:07:14:22 +0700] "GET /artikel/2026 HTTP/1.1" 200 41822 "IsonSearchBot/1.0 (+https://search.isonai.com/bot)"
Control
One line in robots.txt. It takes effect the next time we read the file.
User-agent: IsonSearchBot Disallow: /
Already indexed? Email
hello@epithre.com
with the subject IsonSearch removal: [domain]. Removed within 24 hours, and
the domain goes on a permanent exclusion list.
Verify
A User-Agent string is a claim, not proof — anyone can type ours. Match the source address of the request against the list we publish:
https://search.isonai.com/bot/ips.json
Generated from the running crawl fleet, served as JSON. Seeing IsonSearchBot from an address outside that list? Tell us and we will stop it.
Behaviour
| Rule | What we do |
|---|---|
| robots.txt | Honored in full. Disallow, Crawl-delay and Sitemap are read and applied. |
| Request rate | At most one request every two seconds per host — 0.5 per second — and slower where Crawl-delay asks. Aggressive backoff on 429 and 5xx. |
| Scope | Indonesian content: pages on .id, pages detected as Indonesian, and pages linked from Indonesian-language sources. |
| JavaScript | Not executed during routine crawling. Static HTML and linked files only. |
| Never touched | No forms submitted, no authentication attempted, nothing behind a paywall. |
| Model training | None. What we crawl builds the search index and grounds cited answers that link back to the original page. |
Verification
Our egress addresses resolve to names held by the network operator, not by us, so a forward-confirmed reverse lookup could prove nothing. The published list is the check we can actually stand behind.
One node reaches the internet through a shared mobile network, and we deliberately leave that address out. Publishing it would ask you to allow a pool belonging to thousands of unrelated subscribers — so that node is not used to crawl sites that have allowlisted us.
Crawler
IsonSearchBot membangun indeks di balik Ison Search, mesin pencari berbahasa Indonesia. Ia membaca halaman, menaut balik ke halaman itu, dan tidak melatih apa pun dari yang dibacanya.
Anda mungkin di sini karena baris ini di access log Anda:
203.0.113.7 - - [15/Sep/2026:07:14:22 +0700] "GET /artikel/2026 HTTP/1.1" 200 41822 "IsonSearchBot/1.0 (+https://search.isonai.com/bot)"
Kendali
Satu baris di robots.txt. Berlaku begitu kami membaca berkas itu lagi.
User-agent: IsonSearchBot Disallow: /
Sudah terlanjur terindeks? Kirim surel ke
hello@epithre.com
dengan subjek IsonSearch removal: [domain]. Dihapus dalam 24 jam, dan
domainnya masuk daftar pengecualian permanen.
Verifikasi
String User-Agent adalah klaim, bukan bukti — siapa pun bisa mengetik milik kami. Cocokkan alamat asal permintaan dengan daftar yang kami terbitkan:
https://search.isonai.com/bot/ips.json
Dihasilkan dari armada penjelajah yang sedang berjalan, disajikan sebagai JSON. Melihat IsonSearchBot dari alamat di luar daftar itu? Beri tahu kami, akan kami hentikan.
Perilaku
| Aturan | Yang kami lakukan |
|---|---|
| robots.txt | Dipatuhi sepenuhnya. Disallow, Crawl-delay, dan Sitemap dibaca dan diterapkan. |
| Laju permintaan | Maksimum satu permintaan tiap dua detik per host — 0,5 per detik — dan lebih lambat bila Crawl-delay memintanya. Backoff agresif pada 429 dan 5xx. |
| Cakupan | Konten Indonesia: halaman di .id, halaman yang terdeteksi berbahasa Indonesia, dan halaman yang ditautkan dari sumber berbahasa Indonesia. |
| JavaScript | Tidak dieksekusi pada penjelajahan rutin. Hanya HTML statis dan berkas tertaut. |
| Tidak pernah disentuh | Tidak mengisi formulir, tidak melakukan autentikasi, tidak menembus paywall. |
| Pelatihan model | Tidak ada. Yang kami jelajah membangun indeks pencarian dan menopang jawaban bersitasi yang menaut balik ke halaman aslinya. |
Verifikasi
Alamat keluar kami menunjuk ke nama milik operator jaringan, bukan milik kami, sehingga pencocokan balik tidak membuktikan apa pun. Daftar yang kami terbitkan inilah pemeriksaan yang benar-benar dapat kami pertanggungjawabkan.
Satu node kami keluar lewat jaringan seluler bersama, dan alamat itu sengaja kami tinggalkan. Menerbitkannya berarti meminta Anda mengizinkan sekumpulan alamat milik ribuan pelanggan lain yang tidak berhubungan dengan kami — jadi node itu tidak dipakai menjelajah situs yang telah meng-allowlist kami.