В каких языках строки кодируются в UTF-8?

.NET и Java совершенно точно используют UTF-16 (UCS-2).

tcl в копилку

Vala.

Go — точно utf-8: https://play.golang.org/p/eYVcZkrabw

Да, в уже упомянутом Vala всё точно также:

int main() {
    string str = "aФ⌘";

    stdout.printf("%s (%d bytes) contains %d characters:\n", str, str.length, str.char_count());

    unichar c;
    for (int i = 0; str.get_next_char(ref i, out c);) {
        stdout.printf ("%s size %d\n", c.to_string(), c.to_string().length);
    }

    return 0;
}

aФ⌘ (6 bytes) contains 3 characters:
a size 1
Ф size 2
⌘ size 3

В Rust используется utf-8: http://doc.rust-lang.org/1.0.0-beta/reference.html#textual-types

Именно «internal representation of string type» в utf8 очень спорное решение, т.к. оно все же для передачи, а не представления данных. И примеры в этом топике вовсе не говорят, что рантаймы внутри представляют строки в utf8.

D - internal string in UTF8,UTF16,UTF32.
Lazarus - все компоненты UTF8.

internal string in UTF8,UTF16,UTF32.

Как так?

И примеры в этом топике вовсе не говорят, что рантаймы внутри представляют строки в utf8.

http://doc.rust-lang.org/1.0.0-beta/book/strings.html :

A string is a sequence of Unicode scalar values encoded as a stream of UTF-8 bytes. All strings are guaranteed to be validly encoded UTF-8 sequences.

И примеры в этом топике вовсе не говорят, что рантаймы внутри представляют строки в utf8.

A string is a sequence of Unicode scalar values encoded as a stream of UTF-8 bytes. All strings are guaranteed to be validly encoded UTF-8 sequences.

Я про примеры на Go и Vala (примеров на расте тут вообще не было). И я не утверждаю, что эти языки не представляют строки внутри как utf8, я утверждаю, что примеры этого одназначно не доказывают.

internal string in UTF8,UTF16,UTF32.

Как так?

http://dlang.org/arrays.html#strings

char[] strings are in UTF-8 format. wchar[] strings are in UTF-16 format. dchar[] strings are in UTF-32 format.

Окей, а string что использует?

string = char[]
wstring = wchar[]
dstring = dchar[]

Спасибо. Только куда такой зоопарк типов?

это уже к разработчику языка =)
P.S. Хотя, наверное, это удобно. Конвертация, насколько я в курсе, автоматическая.

python 3

Уточнил бы в заголовке, что речь идёт о языках программирования.

Это Development, тут это подразумевается.

проглядел >_<

Не понимаю, например, про Go. Где-то написано, что используется UTF-8, где-то UTF-16.

В Go строки могут быть в любой кодировке и стандартный индекс по байтам. Строка представлена в памяти как простая последовательность байт (в отличие, например, от Python 3). См. https://play.golang.org/p/hvVOXpTAXH

Однако выражение range, как в примере beastie, ожидает, что строки будут в UTF-8 и итерирует по кодам UTF-32. Стандартная библиотека тоже предполагает, что string в UTF-8. Пакет unicode/utf16 работает со слайсами (как бы массивами) uint16.

http://blog.golang.org/strings

JS

Давайте лучше про языки где нет строк впринципе. Я начну: erlang.