自建倒排, 为 Jekyll 博客添加搜索功能

{% raw %}
# file: _plugins/search.rb
require "jieba_rb"
require "json"

# 引入'jieba_rb'和'json'两个库. 后者主要是为了将Hash值转为string的时候用的

module Jekyll
  class SearchPage < Page
    def initialize(site, base, dir,h,l)
      # 初始化page的设定, 因为考虑到写入json文件的二次请求, 不如直接写入到页面内, 这样可以保证搜索的速度, 同时文本本身请求压力比较小, 也就不用增加多次请求了.
      @site = site
      @base = base
      @dir = dir
      @name = 'index.html'
      self.process(@name)
      self.read_yaml(File.join(base, '_layouts'), 'search.html')
      self.data['title'] = "Internal Search"
      self.data['index'] = h.to_json
      self.data['worddict'] = l.join(",")
      # 将倒排索引和倒排词目录写入到page属性中, 从而可以在模板文件中直接写入到html页面中去.
    end
  end
  class SearchGenerator< Generator
    safe true
    def generate(site)
      # 类似tag页面, 这里也把search的这个页面放在了search目录下
      if site.layouts.key? 'search'
        dir = site.config['search_dir'] || 'search'
        write_search_index(site, File.join(dir, ''))
      end
    end
    def write_search_index(site, dir)
      h = Hash.new
      nh = Hash.new
      po = Hash.new
      # 三个hash值分别用来存储索引,倒排索引和博文文档信息
      tlist = []
      # 一个array用来存储倒排词表, 这个主要是用来给js做分词词典使用的
      keyword = JiebaRb::Keyword.new
      # 因为jibe的keyword模块, 因为只用到了关键字提取部分 
      site.posts.each do |post|
        # 逐文提取关键词
        alist = []
        keywords_weights = keyword.extract post.content,35
        # 目前只给了35的限制, 其实可以放的更宽些, 目前我20来篇的博文, 基本几秒内就建好了
        keywords_weights.each{|k,v|
          alist.push(k.downcase)
          # 将关键词归一化处理存放到列表中 
        }
        postdata = Hash.new
        # 存放post相关的信息
        postdata['post_id'] = post.id
        postdata['post_url'] = post.url
        postdata['post_title'] = post.title
        if post["language"] == "en"
          postdata['post_content'] = post.content[0...400].gsub!(/(<[^>]*>)|{%|%}|\s|\n|([#]+)|\t/) {" "}
        else
          postdata['post_content'] = post.content[0...200].gsub!(/(<[^>]*>)|{%|%}|\s|\n|([#]+)|\t/) {" "}
        end
        # 截断正文取摘要, 这里加了个中英文区分
        postdata['post_author'] = post["author"]
        postdata['post_category'] = post.categories
        postdata['post_tags'] = post.tags
        postdata['post_date'] = post.date
        h[post.url] = alist.uniq
        # 生成的索引h
        # 将关键词去重处理
        po[post.url] = postdata
        tlist = tlist | alist.uniq
      end

      # 创建倒排索引
      tlist.each{|k|
        klist = []
        h.each{|k2,v|
          if v.include? k
            klist.push(po[k2])
          end
        }
        nh[k] = klist
      }

      # 输出页面
      index = SearchPage.new(site, site.source, dir, nh, tlist)
      index.dir = dir
      index.render(site.layouts, site.site_payload)
      index.write(site.dest)
      site.pages << index
    end
  end

end
{% endraw %}