Go: ioutil.ReadAll()

io.Copy

которая позволит увеличь производительность?

Производительность чего?

Давай пруф что затык именно в этом.

Экстрасенсы в отпуске, опиши проблему для начала.

Проблема с чтением больших файлов?

cpu

Не затык, смотрю в pprof и вижу что есть два места, пока, где тратится больше всего ресурсов: ioutil.ReadAll() и regexp.MustCompile(). Соответственно я хочу понять на что их можно заменить, что бы немного ускорить.

нет, просто с чтением)

Ты лучше код покажи (или фрагмент кода).

Прикрутил, немного полегче стало, но глобально прирост не сильно заметен. Но так все равно лучше да.

func main() {
    buf := bytes.NewBuffer(nil)
    f, _ := os.Open(FILE_PATH)
    defer f.Close()
    io.Copy(buf, f)           
    s := string(buf.Bytes())
...}

typical_go_developers.jpeg

Буферы реюзай, sync.Pool.

Ну и хорошо подумай зачем тебе именно string.

Так-так, я нуб, поэтому можешь чуть уточнить про строки? За sync.Pool. - упустил его.

Превратить byte[] в string - аллокация, оно создает копию данных. Да и обычно сразу с байтами проще работать.

Думал на тему byte[] и написал такое:

func main() {
	f, _ := os.Open(FILE_PATH)
	defer f.Close()

	scanner := bufio.NewScanner(f)
	scanner.Split(bufio.ScanLines)

	seenBrowsers := []string{}
	uniqueBrowsers := 0
	foundUsers := ""
	users := make([]map[string]interface{}, 0)

	for scanner.Scan() {
		user := make(map[string]interface{})
		err := json.Unmarshal(scanner.Bytes(), &user)
		if err != nil {
			panic(err)
		}
		users = append(users, user)
	}

А это та же самая задача? Ты правда вычитывал весь файл целиком в строку и потом из неё json'ки парсил?..

Если читать и парсить руками, то тут лучше подойдет bufio.Reader с его ReadLine.

Но вообще проще сразу взять https://golang.org/pkg/encoding/json/#Decoder.Decode. Там пример есть, из него надо только считывание токенов «[» и «]» убрать.

В идеале надо определить структуру User и использовать какой-нибудь ffjson или easyjson, и скармливать туда выход bufio.Reader.ReadLine. Парсить стандартным json в map[string]interface{} - дорого.

Это в общем и есть задача, привести чужой код в чувство. Сейчас попробую с структурой сделать.

regexp.MustCompile()

каждый раз компиляем регексп по новой, как тот мейлрушник на хабре?

Это я снес почти сразу. Этот пример почти везде есть для демонстрации перфоманса, не только на хабре.