4.7. Разбиение строки на лексемы.

Проблема.

Требуется разбить строку на части, используя набор разделителей.

Решение.

Для перебора элементов строки и поиска места нахождения следующих лексем и не-лексем используйте методы find_first_of и first_first_not_of. Пример 4.12 представляет простой класс StringTokenizer, выполняющий эту задачу.

Пример 4.12. Разбиение строки на лексемы.

#include <string>

#include <iostream>

Using namespace std;

// Класс, разбивающий строку на лексемы.

Class StringTokenizer {

Public:

 StringTokenizer(const string& s, const char* delim = NULL) :

  str_(s), count(-1), begin_(0), end_(0) {

  if (!delim).

   delim_ = " \f\n\r\t\v"; //по умолчанию пробельные символы.

  else.

   delim_ = delim;

  // Указывает на первую лексему.

  begin_ = str_.find_first_not_of(delim);

  end_ = str.find_first_of(delim_, begin_);

 }

 size_t countTokens() {

  if (count_ >= 0) // если уже посчитали, то выход.

   return(count_);

  string::size_type n = 0;

  string::size_type i = 0;

  for (;;) {

   // переход на первую лексему.

   if ((i = str_.find_first_not_of(delim_, i)) == string::npos).

    break;

   // переход на следующий разделитель.

   i = str_.find_first_of(delim_, i+1);

   n++;

   if (i == string::npos) break;

  }

  return (count_ = n);

 }

 bool hasMoreTokens() { return(begin_ != end_); }.

 void nextToken(string& s) {

  if (begin_ != string::npos && end_ != string::npos) {

   s = str_.substr(begin_, end_-begin_);

   begin_ = str_.find_first_not_of(delim_, end_);

   end_ = str_.find_first_of(delim_, begin_);

  } else if (begin_ != string::npos && end_ == string::npos) {

   s = str_.substr(begin_, str_.length()-begin_);

   begin_ = str_.find_first_not_of(delim_, end_);

  }

 }

Private:

 StringTokenizer() {}.

 string delim_;

 string str_;

 int count_;

 int begin_;

 int end_;

};

Int main() {

 string s = " razzle dazzle giddyup ";

 string tmp;

 StringTokenizer st(s);

 cout << "Здесь содержится" << st.countTokens() << " лексемы.\n";

 while (st.hasMoreTokens()) {

  st.nextToken(tmp);

  cout << "token = " << trap << '\n';

 }

}

Обсуждение.

Разбиение строки с четко определенной структурой, как в примере 4.10, конечно, хорошо, но не все так просто. Предположим, что, вместо того чтобы просто разделить строку на основе единственного разделителя, требуется разбить строку на лексемы. Наиболее частым вариантом этой задачи является разделение на лексемы с игнорированием пробелов. Пример 4.12 дает реализацию класса StringTokenizer (аналогичного стандартному классу Java™ с таким же именем) для C++, который принимает символы-разделители, но по умолчанию использует пробелы.

Наиболее важные строки в StringTokenizer используют методы find_first_of и find_first_not_of шаблона класса basic_string. Их описание и примеры использования даны в рецепте 4.9. Пример 4.12 дает такой вывод.

Здесь содержится 3 лексемы.

Token = razzle.

Token = dazzle.

Token = giddyup.

StringTokenizer — это более гибкая форма функции split из примера 4.10. Он поддерживает свое состояние, так что можно просто последовательно переходить с одной лексемы на другую, не разбивая вначале всю строку на части. Также есть возможность подсчитать число лексем.

В StringTokenizer можно внести пару усовершенствований. Во-первых, для простоты StringTokenizer написан так, что он работает только с простыми строками — другими словами, строками из узких символов. Если требуется, чтобы один и тот же класс работал как с узкими, так и с широкими символами, параметризуйте тип символов, как это сделано в предыдущих рецептах. Другим улучшением является расширение StringTokenizer так, чтобы он обеспечивал более дружественное взаимодействие с последовательностями и был более гибок. Вы всегда можете сделать это сами, а можете использовать имеющийся класс разбиения на лексемы. Проект Boost содержит класс tokenizer, делающий все это. За подробностями обратитесь к www.boost.org.

Смотри также.

Рецепт 4.24.