正、反向分词算法

# create date: 2013-06-23
# last update: 2013-06-23

word_dict = list()


def load_dict():
    """
    将词典加载到内存中
    """
    # 需要自己去找一份字典文件，命名为 words.dic
    with open('words.dic', 'r') as f:
        for line in f:
            line = line.strip()
            line = line.decode('utf-8')
            word_dict.append(line)


def split_words(words):
    max_len = 5            # 每次取 max_len 个字
    split_result = list()    # 分词结果

    while words:
        # 先取 max_len 个字出来分词
        text = words[0 - max_len:]
        # 标志位，如果为 True 表示找到词了
        is_find = False

        # 开始尝试分词
        while not is_find:
            if text in word_dict:
                is_find = True
                split_result.insert(0, text)
                # 后移
                words = words[:0-len(text)]
                # 如果只剩下一个字了，它单独成为一个词
                # 比如“我的是他的”这句话里就没有一组词，所以要将它们分割成一个个字
                # 这里参考函数注释中的“结果1”
            elif len(text) == 1:
                is_find = True
                split_result.insert(0, text)
                words = words[:-1]
                # 如果没有找到，就去掉第一位
            else:
                text = text[1:]

    return split_result


if __name__ == '__main__':
    load_dict()
    print('/'.join(split_word(u'我在别人那里听说你是黑客')))

def split_word(words):
    max_len = 5            # 每次取 max_len 个字
    split_result = list()    # 分词结果

    while(words):
        # 先取 max_len 个字出来分词
        text = words[0: max_len]
        # 标志位，如果为 True 表示找到词了
        is_find = False

        # 开始尝试分词
        while not is_find:
            if text in word_dict:
                is_find = True
                split_result.append(text)
                # 后移
                words = words[len(text):]
                # 如果只剩下一个字了，它单独成为一个词
                # 比如“我的是他的”这句话里就没有一组词，所以要将它们分割成一个个字
                # 这里参考函数注释中的“结果1”
            elif len(text) == 1:
                is_find = True
                split_result.append(text)
                words = words[1:]
                # 如果没有找到，就去掉最后一位
            else:
                text = text[:len(text)-1]

    return split_result