Skip to main content

[экспериментально] Функции для работы с естественным языком

Предупреждение

Сейчас использование функций для работы с естественным языком является экспериментальной возможностью. Чтобы использовать данные функции, включите настройку allow_experimental_nlp_functions = 1.

stem​

Данная функция проводит стемминг заданного слова.

Синтаксис

stem('language', word)

Аргументы

  • language — Язык, правила которого будут применены для стемминга. Допускается только нижний регистр. String.
  • word — Слово подлежащее стеммингу. Допускается только нижний регистр. String.

Examples

Query:

SELECT arrayMap(x -> stem('en', x), ['I', 'think', 'it', 'is', 'a', 'blessing', 'in', 'disguise']) as res;

Result:

┌─res────────────────────────────────────────────────┐
│ ['I','think','it','is','a','bless','in','disguis'] │
└────────────────────────────────────────────────────┘

lemmatize​

Данная функция проводит лемматизацию для заданного слова. Для работы лемматизатора необходимы словари, которые можно найти здесь.

Синтаксис

lemmatize('language', word)

Аргументы

  • language — Язык, правила которого будут применены для лемматизации. String.
  • word — Слово, подлежащее лемматизации. Допускается только нижний регистр. String.

Примеры

Запрос:

SELECT lemmatize('en', 'wolves');

Результат:

┌─lemmatize("wolves")─┐
│              "wolf" │
└─────────────────────┘

Конфигурация:

<lemmatizers>
    <lemmatizer>
        <lang>en</lang>
        <path>en.bin</path>
    </lemmatizer>
</lemmatizers>

synonyms​

Находит синонимы к заданному слову. Представлены два типа расширений словарей: plain и wordnet.

Для работы расширения типа plain необходимо указать путь до простого текстового файла, где каждая строка соответствует одному набору синонимов. Слова в данной строке должны быть разделены с помощью пробела или знака табуляции.

Для работы расширения типа plain необходимо указать путь до WordNet тезауруса. Тезаурус должен содержать WordNet sense index.

Синтаксис

synonyms('extension_name', word)

Аргументы

  • extension_name — Название расширения, в котором будет проводиться поиск. String.
  • word — Слово, которое будет искаться в расширении. String.

Примеры

Запрос:

SELECT synonyms('list', 'important');

Результат:

┌─synonyms('list', 'important')────────────┐
│ ['important','big','critical','crucial'] │
└──────────────────────────────────────────┘

Конфигурация:

<synonyms_extensions>
    <extension>
        <name>en</name>
        <type>plain</type>
        <path>en.txt</path>
    </extension>
    <extension>
        <name>en</name>
        <type>wordnet</type>
        <path>en/</path>
    </extension>
</synonyms_extensions>