Google將推動REP成為正式標準，開源robots.txt解析器

Google在7月1日宣布，將推動發展歷史長達25年的機器人排除協定（Robots Exclusion Protocol，REP）成為正式標準，同時釋出Google內部所使用的robots.txt解析器，以協助開發人員打造客製化的解析工具。

臉書留言

(這個頁面共進入 1 次, 今天進入 1 次)